Iwan Rustiawan, insinyur AI yang berbasis di Indonesia, baru-baru ini membagikan catatan teknis yang ia kumpulkan dari pengalaman langsung membangun aplikasi berbasis model bahasa besar (LLM) untuk lingkungan produksi. Tulisan yang dipublikasikan di platform Dev.to itu menyoroti tiga pemahaman kritis yang sering terlewat tim pengembang saat beralih dari eksperimen ke sistem nyata.
Inti pesannya sederhana: LLM bukan produk siap pakai seperti ChatGPT, melainkan komponen stateless yang memerlukan arsitektur pendukung yang dirancang sadar. Banyak tim terjebak dalam asumsi bahwa integrasi API saja cukup untuk menghadirkan pengalaman percakapan yang mulus, padahal model tidak memiliki memori sama sekali.
Ketika pengguna berkata "nama saya Iwan" pada giliran pertama, model tidak akan mengingatnya pada giliran kedua. Seluruh riwayat percakapan harus dikirim ulang setiap permintaan. Hal ini menciptakan tantangan manajemen konteks yang tidak sebanding dengan ukuran memori semata — melibatkan keseimbangan antara akurasi, biaya token, dan latensi respons.
Titik kedua menyentuh Retrieval-Augmented Generation (RAG). Rustiawan menegaskan RAG bukan kemampuan bawaan model, melainkan arsitektur di sekelilingnya. Prosesnya berjalan terpisah: dokumen dipotong, diubah jadi embedding, disimpan di basis data vektor, lalu diambil kembali saat pertanyaan datang. Hasil pengambilan itulah yang disisipkan ke konteks sebelum dikirim ke model. Model sendiri tidak tahu apa-apa tentang basis data internal perusahaan.
Contoh konkret yang ia berikan: dokumen FAQ di-chunk, di-embedding, disimpan. Saat pengguna bertanya, pertanyaan juga di-embedding untuk mencari chunk paling relevan. Baru hasil pencarian itu yang dimasukkan ke prompt. Tanpa pipeline ini, model hanya menebak jawaban dari pengetahuan pelatihannya — yang sudah usang atau tidak spesifik untuk domain bisnis.
Poin ketiga, dan yang paling ditekankan, soal peran LLM sebagai orkestrator, bukan kalkulator. Rustiawan melarang keras menyerahkan perhitungan — apalagi finansial — ke LLM. Alasannya struktural: model memprediksi token berikutnya secara probabilistik, tidak mengeksekusi aritmetika. Menanyakan penjumlahan ke LLM sama dengan meminta ia menebak jawaban yang "terlihat paling masuk akal".
Solusinya adalah function calling. Tugas model hanya memahami niat pengguna dan memilih fungsi mana yang dipanggil. Komputasi aktual diserahkan ke backend deterministik yang bisa diuji, diaudit, dan dibuktikan kebenarannya. Bukan soal akurasi semata, tapi auditabilitas. Ketika stakeholder bertanya "kenapa angkanya begini?", jawaban harus bisa ditelusuri ke kode fungsi — bukan ke model yang "kira-kira begitu".
Di ekosistem teknologi Indonesia, catatan ini relevan mengingat maraknya startup dan tim internal enterprise yang berebut mengadopsi AI generatif tanpa fondasi arsitektur yang matang. Banyak produk lokal — dari chatbot layanan pelanggan hingga asisten analisis data — masih mengandalkan prompt engineering semata tanpa pipeline RAG yang proper atau guardrail komputasi.
Beberapa perusahaan fintech dan e-commerce besar di Jakarta sudah mulai menerapkan pola orkestrator-fungsi ini, namun praktiknya belum merata ke tim menengah. Kurangnya talenta AI engineering yang memahami batas-batas model — bukan hanya cara memanggil API — jadi hambatan nyata. Universitas dan bootcamp pun baru mulai memperkenalkan mata kuliah sistem produksi LLM, jauh tertinggal dari kebutuhan pasar.
Rustiawan sendiri mengakui masih ada area yang ia pelajari, terutama evaluasi model dan optimasi biaya. Ia mengundang diskusi terbuka dari praktisi lain yang punya pengalaman berbeda. Sikap terbuka ini mencerminkan matangnya komunitas AI engineering Indonesia yang mulai beralih dari hype ke rekayasa sistem yang bertanggung jawab.
Ke depan, tren akan mengarah ke standarisasi pola arsitektur: manajemen konteks adaptif, RAG modular dengan reranking, dan function calling sebagai default untuk tugas deterministik. Tim yang menguasai tiga pilar ini — memori, pengetahuan eksternal, dan komputasi terpercaya — akan membangun produk AI yang tidak hanya cerdas tampak, tapi andal di produksi.