Membangun fitur tanya jawab berbasis kecerdasan buatan (AI) di atas dokumen pribadi kerap menemui kendala pada tahap awal. Pengguna biasanya mengunggah berkas PDF hasil pindaian setebal 40 halaman yang tidak memiliki lapisan teks digital, sehingga sistem kesulitan mengekstrak informasi bersih.
Laravel 13 hadir membawa AI SDK yang mengelola sebagian besar alur kerja, mulai dari penyematan (embedding) hingga agen pencarian. Namun, paket bawaan tersebut belum menyentuh proses ekstraksi teks dari berkas mentah. Tutorial terbaru dari komunitas pengembang menawarkan solusi ujung ke ujung yang memanfaatkan Postgres sebagai satu-satunya penyimpanan data.
Alur kerja yang dibangun meliputi unggah berkas, parsing, pemecahan bagian (chunking), penyematan, pencarian, hingga penyediaan jawaban. Infrastruktur ini hanya membutuhkan Laravel 13, Postgres dengan ekstensi pgvector, serta dua paket tambahan melalui Composer. Salah satunya adalah layanan API parsing milik pengembang bernama Parse for Artisans yang menyediakan SDK khusus Laravel.
Pemilihan pendekatan berbasis API terhos (hosted) tersebut didorong oleh realitas berkas yang diunggah pengguna. Dokumen digital dengan lapisan teks nyata memang bisa diproses gratis menggunakan paket spatie/pdf-to-text. Kendala muncul ketika berkas berupa pindaian kertas, file .doc, atau surat elektronik, di mana alat konversi standar kehilangan fungsinya.
Parse for Artisans menangani otomatisasi pengenalan karakter optik (OCR) untuk PDF pindaian tanpa perlu mendeteksi tipe berkas secara manual. Skema migrasi basis data menggunakan dua tabel, yakni dokumen dan potongan teks (chunks) yang menyimpan vektor berdimensi 1536. Pengaturan ini mengindeks setiap potongan teks langsung ke dalam kolom pgvector.
Bagi industri teknologi Indonesia, pendekatan tanpa basis data vektor terpisah seperti Pinecone atau Milvus memberikan efisiensi operasional. Banyak startup lokal masih mengandalkan kombinasi Postgres dan layanan vektor eksternal yang menambah beban biaya serta kompleksitas pemeliharaan. Mengonsolidasikan semuanya ke dalam satu sistem basis data mengurangi gesekan arsitektur bagi tim engineering yang terbatas.
Di sisi lain, ketergantungan pada layanan API pihak ketiga untuk parsing membuka diskusi tentang kedaulatan data. Perusahaan Indonesia yang bergerak di sektor keuangan atau hukum sering menangani dokumen rahasia dengan terminasi kontrak ketat. Mengirim berkas ke server parsing internasional memerlukan kepatuhan regulasi privasi data nasional yang ketat, meski kemudahan integrasi Laravel sangat menggiurkan.
Alternatif spatie/pdf-to-text tetap relevan bagi institusi yang memiliki arsip digital murni. Namun, pengalaman lapangan menunjukkan bahwa unggahan pengguna nyata mayoritas berupa foto dokumen atau format usang. Oleh karena itu, kemampuan OCR bawaan menjadi penentu keberhasilan sistem AI berbasis dokumen di pasar Asia Tenggara.
Peter Van Dijck, kreator Parse for Artisans, menekankan bahwa input berantakan dari alat OCR akan merusak kualitas penyematan data. "Sampah masuk, sampah pula yang dijadikan vektor," ungkapnya menggambarkan betapa krusialnya parser yang menjaga struktur heading dan tabel. Parser yang buruk membuat strategi pemecahan teks apa pun tidak akan berdaya.
Dalam implementasinya, pemecahan markdown dilakukan dengan cara sederhana yakni memisahkan berdasarkan heading dan membatasi panjang maksimal 2000 karakter per bagian. Filter panjang minimum 50 karakter diterapkan untuk membuang bagian kosong. Agent AI Laravel kemudian memanggil alat SimilaritySearch untuk menarik delapan potongan teks terdekat guna menjawab pertanyaan pengguna.
Tren integrasi AI ke dalam framework web utama seperti Laravel menandakan matangnya ekosistem pengembangan aplikasi lokal berbasis LLM. Pengembang tidak lagi perlu merangkai alat dari tingkat nol, melainkan fokus pada pengalaman pengguna dan logika bisnis spesifik.
Ke depannya, dukungan pgvector di Postgres diproyeksikan menjadi standar wajib bagi aplikasi web yang mengklaim fitur tanya dokumen. Kombinasi efisiensi biaya dan kemudahan penyebaran (deployment) akan mendorong adopsi masif di kalangan pengembang Indonesia yang mulai meninggalkan layanan cloud AI proprietary mahal.