PrismML secara resmi meluncurkan Bonsai 27B, model kecerdasan buatan multimodal yang dibangun dari basis Qwen3.6 27B. Kehadirannya menandai kali pertama model dengan skala 27 miliar parameter mampu beroperasi di perangkat seluler tanpa bergantung pada layanan awan.
Model anyar ini hadir dalam dua varian utama. Varian ternari memakai bobot {-1, 0, +1} dengan skala FP16 per grup, menghasilkan ukuran berkas 5,9 GB dan rasio efektif 1,71 bit per bobot. Sementara varian 1-bit menggunakan bobot biner {-1, +1} dengan skema serupa, sehingga memori yang dibutuhkan hanya 3,9 GB. Kedua versi mendukung input visual melalui menara vision 4-bit, konteks 262K token, serta akselerasi speculative decoding.
Sebelumnya, penyebaran model 27B di perangkat lokal dianggap tidak praktis karena jejak memori yang terlalu besar. Dalam presisi 16-bit, model setara menempati ruang sekitar 54 GB, sedangkan build 4-bit yang umum pun masih memakan 18 GB. Angka tersebut jauh melampaui kapasitas RAM ponsel maupun laptop mainstream.
Perubahan nilai dari beban kerja AI turut mendorong kebutuhan akan efisiensi ini. Asisten modern tidak lagi cukup memberikan jawaban tunggal, melainkan harus menjalankan alur agenik: ratusan panggilan model yang saling terhubung, memanggil alat eksternal, dan merangkai hasil antarlangkah. Eksekusi awan menimbulkan batasan struktural berupa biaya per token yang membengkak serta risiko privasi data pengguna.
Memasukkan model ke ponsel bukan sekadar soal kapasitas penyimpanan. Sistem operasi iOS misalnya hanya mengizinkan aplikasi menggunakan sekitar 6 GB dari total RAM 12 GB, dan bagian tersebut harus dibagi dengan cache KV serta aktivasi model. Varian 1-bit Bonsai 27B dengan ukuran 3,9 GB menjadi yang pertama menembus batas ketat itu dengan sisa ruang kerja yang memadai.
Bagi ekosistem teknologi Indonesia, terobosan ini membuka jalan bagi agen kecerdasan buatan lokal yang beroperasi tanpa koneksi internet stabil. Wilayah kepulauan dengan latensi tinggi dapat memanfaatkan asisten offline untuk layanan edukasi atau kesehatan dasar. Selain itu, pelaku usaha kecil dapat menekan biaya operasional karena loop berbasis perangkat tidak membebankan tarif API awan.
Saat ini, sebagian besar startup domestik masih mengandalkan model awan dari penyedia global. Ketergantungan tersebut kerap menimbulkan kekhawatiran terkait kedaulatan data sesuai Undang-Undang Pelindungan Data Pribadi. Model yang berjalan di perangkat pengguna menjamin berkas pribadi, tangkapan layar, dan dokumen tidak pernah meninggalkan mesin, sekaligus memenuhi tuntutan kepatuhan yang makin ketat.
PrismML memperkenalkan metrik kepadatan kecerdasan yang mengukur kemampuan per GB memori. Varian 1-bit Bonsai 27B mencatat nilai 0,53 per GB, lebih dari 10 kali lipat basis presisi penuh dan sekitar 2,7 kali solusi low-bit terbaik sebelumnya. Efisiensi luar biasa ini krusial untuk pasar emerging di mana akses ke GPU kelas atas sangat terbatas.
Dalam keterangan teknisnya, tim pengembang menyebut bahwa seluruh jaringan bahasa, mulai dari embedding, attention, MLP, hingga LM head, dijalankan dalam representasi bit rendah tanpa jalan pintas presisi tinggi. Mereka juga menampilkan demonstrasi alur agenik end-to-end bersama Hermes pada kartu grafis NVIDIA GeForce RTX 5090 sebagai bukti keandalan varian ternari.
Evaluasi terhadap 15 benchmark mencakup penalaran, kode, matematika, hingga panggilan alat. Varian ternari mempertahankan 95% kinerja basis presisi penuh, sedangkan varian 1-bit menyentuh 90%. Kehilangan akurasi terbesar ada pada tugas visi dan instruksi, namun kemampuan matematika serta pemrograman nyaris tidak tergerus, tepat menjadi fondasi beban kerja agenik.
Model tersebut sudah tersedia mulai hari ini di bawah lisensi Apache 2.0, memungkinkan pengembang Indonesia mengadopsi dan memodifikasi tanpa hambatan lisensi. Arsitektur hibrida diprediksi tumbuh, di mana tugas peka privasi dialihkan ke model lokal sementara langkah tersulit diserahkan ke model awan frontier.
Kompresi ekstrem pada parameter model akan terus menjadi frontir riset berikutnya. Penggabungan teknik 1-bit dengan optimasi khusus bahasa lokal seperti Bahasa Indonesia dapat melahirkan asisten yang ringan namun memahami konteks budaya regional. Langkah PrismML membuktikan bahwa batas perangkat keras tidak lagi menjadi penghalang bagi AI berskala besar.