Kemunculan model bahasa besar (LLM) telah memperluas batas kemampuan kecerdasan buatan, namun persyaratan komputasi dan data yang besar sering kali memaksa penyebaran model tersebut menjadi terpusat. Pendekatan AI terdistribusi menawarkan alternatif yang menarik dengan memungkinkan model beroperasi di beberapa node, memanfaatkan sumber daya kolektif, dan meningkatkan ketahanan. Artikel ini membahas penerapan dan optimasi arsitektur "Mesh LLM" menggunakan iroh, sebuah platform sinkronisasi dan distribusi data terdesentralisasi, untuk membangun sistem pembelajaran mesin yang benar-benar skalabel dan tangguh.
Mesh LLM bukan merupakan model tunggal, melainkan sebuah paradigma di mana fungsi atau data LLM didistribusikan dan diproses secara kolaboratif di seluruh jaringan node. Pendekatan ini dapat mencakup inferensi terdistribusi, di mana bagian dari kueri atau kueri yang berbeda diproses oleh beberapa instance model di node yang berbeda; pembelajaran federasi, di mana pelatihan model terjadi secara lokal di perangkat edge dan hanya pembaruan model (bobot, gradien) yang digabungkan secara terpusat atau semi-terpusat sehingga menjaga privasi data; partisi model, di mana model besar dibagi menjadi beberapa GPU/node; dan RAG (Retrieval‑Augmented Generation) terdistribusi, di mana komponen pengambilan (basis data vektor, penyimpanan dokumen) didistribusikan dan instance LLM menanyakan sumber data lokal atau terdekat. Fokus utama kami adalah pada inferensi terdistribusi dan RAG, dengan memanfaatkan iroh untuk sinkronisasi data dan status.
Iroh (InterPlanetary ReHost) adalah platform Rust-first untuk sinkronisasi dan distribusi data terdesentralisasi yang terinspirasi oleh IPFS dan libp2p. Platform ini menyediakan primitives seperti data yang diidentifikasi berdasarkan hash, konektivitas peer-to-peer tanpa server pusat, koleksi konten yang dapat diubah dan memiliki versi, serta sinkronisasi efisien antar node bahkan di jaringan yang tidak stabil. Fitur-fitur ini menjadikan iroh sebagai pilihan yang sangat baik untuk mengkoordinasikan data dan komponen model dalam lingkungan AI terdistribusi.
Secara konseptual, penyebaran Mesh LLM dapat dimulai dengan tahap ingestion dan indexing data (korpus RAG). Setiap node dalam jaringan Mesh LLM akan menyimpan korpus RAG lokal yang relevan dengan domain atau basis pengguna masing-masing, dan mengindeksnya ke dalam basis data vektor lokal. Iroh digunakan untuk menyinkronkan dan mendistribusikan koleksi dokumen ini. Sebuah node sumber dapat mempublikasikan koleksi embedding dokumen atau file teks mentah, dan node peer dapat berlangganan dan menyinkronkan koleksi tersebut, sehingga memastikan setiap node memiliki dataset yang konsisten dan terkini, yang mungkin dipartisi berdasarkan relevansi atau kepemilikan.
Selanjutnya, setiap node menjalankan instance LLM yang ringan, yang bisa berupa model khusus yang lebih kecil (misalnya, Llama‑2 yang telah disesuaikan) atau bagian dari model yang lebih besar yang telah dibagi. Iroh dapat mendistribusikan bobot model, file konfigurasi, atau bahkan image Docker untuk instance-instance LLM ini. Ketika versi model baru dirilis, versi tersebut dapat dipublikasikan sebagai koleksi iroh baru atau diperbarui dalam koleksi yang ada, dan semua node peer akan secara otomatis mengambil perubahan tersebut.
Ketika kueri pengguna masuk, instance LLM lokal akan memprosesnya. Jika basis RAG lokal tidak memiliki konteks yang cukup, kueri dapat difederasi ke node lain. Proses RAG lokal melibatkan pencarian vektor di basis data lokal, mengambil potongan teks yang paling relevan, dan kemudian menghasilkan jawaban menggunakan LLM lokal. Jika konteks yang diperlukan tidak tersedia secara lokal, iroh memfasilitasi permintaan yang efisien ke node tetangga yang mungkin memiliki corpus yang relevan, sehingga menciptakan pipeline inferensi RAG yang terdistribusi dan responsif.
Bagi pengembang di Indonesia, pendekatan Mesh LLM dan iroh menawarkan peluang untuk membangun solusi AI yang lebih tangguh dan hemat biaya. Dengan memanfaatkan sumber daya komputasi edge yang saat ini tidak terpakai di seluruh nusantara, perusahaan lokal dapat mengurangi ketergantungan pada infrastruktur cloud terpusat, mematuhi peraturan privasi data yang semakin ketat, dan memberikan layanan AI dengan latensi yang lebih rendah kepada pengguna di daerah terpencil. Selain itu, model open-source dan toolchain Rust-first dari iroh sejalan dengan ekosistem pengembangan perangkat lunak lokal, sehingga memudahkan adopsi teknologi ini oleh komunitas peneliti dan startup di Indonesia.
Ke depannya, integrasi AI terdistribusi dengan jaringan Mesh LLM diharapkan dapat mendorong inovasi dalam komputasi edge, AI federasi, dan aplikasi RAG skala besar. Seiring dengan semakin matangnya platform seperti iroh, organisasi di Indonesia akan memiliki alat yang lebih kuat untuk membangun sistem AI otonom yang dapat beroperasi secara andal di seluruh wilayah geografis yang luas, membuka jalan bagi transformasi digital yang inklusif dan berketahanan.