PrismML merilis Bonsai 27B, model kecerdasan buatan berukuran 27 miliar parameter yang dapat berjalan langsung di dalam smartphone tanpa bergantung pada server awan. Model berbasis kompresi 1-bit ini dirancang untuk beroperasi pada memori terpakai sekitar 6 GB, seperti yang tersedia pada iPhone 17 Pro, dengan kecepatan inferensi sekitar 11 token per detik.
Model tersebut mampu mempertahankan sekitar 90% kinerja model aslinya dalam berbagai uji coba. Kemampuan penalaran kompleks, perhitungan matematika, dan perencanaan agen berbilang langkah tetap terjaga meski dilakukan secara luring. Penurunan paling terasa terdapat pada kemampuan mengingat fakta spesifik, namun hal itu tidak mengurangi fungsi utamanya sebagai model penalaran mandiri.
Hadirnya Bonsai 27B merupakan jawaban atas kebutuhan menjalankan model bahasa besar di perangkat berdaya terbatas. Selama ini, model dengan parameter puluhan miliar hanya bisa dijalankan melalui klaster GPU di pusat data. Komputasi awan memang memungkinkan model besar berjalan, tetapi menimbulkan biaya per token dan risiko privasi karena data pengguna harus dikirim ke server.
Teknik kuantisasi ekstrem ke format 1-bit menjadi kunci yang digunakan PrismML. Pendekatan ini menekan bobot model hingga fracnya muat di memori ponsel kelas atas. Apple disebut mengevaluasi teknologi kompresi serupa untuk meningkatkan kecerdasan buatan di perangkat dan efisiensi daya pada fitur asisten masa depan.
Model lokal seperti Bonsai 27B menghapus ketergantungan pada koneksi internet saat menjalankan tugas berat. Pengguna dapat meminta analisis dokumen, merangkum teks, atau menyusun rencana tanpa data layar dan input pribadi keluar dari perangkat. Hal ini sejalan dengan arah privasi perangkat yang diusung vendor besar belakangan ini.
Bagi industri teknologi global, rilis ini menunjukkan bahwa batas komputasi di perangkat konsumen semakin longgar. Pengembang aplikasi kini punya opsi menjadikan model reasoning sebagai komponen luring. Biaya operasional dapat ditekan karena tidak ada tagihan pemrosesan awan per permintaan.
Di Indonesia, tren ini relevan mengingat lonjakan penggunaan asisten AI melalui ponsel dengan koneksi tidak selalu stabil. Model lokal mengurangi beban kuota dan latensi bagi pengguna di luar Jabodetabek. Startup lokal yang membangun layanan edukasi atau produktivitas bisa memanfaatkan pendekatan serupa untuk menjangkau daerah dengan infrastruktur cloud terbatas.
Ketersediaan bobot Bonsai 27B di bawah lisensi Apache 2.0 memperluas peluang adopsi. Model ini kompatibel dengan kerangka MLX milik Apple dan GPU NVIDIA, sehingga pengembang dapat menyesuaikan tanpa hambatan lisensi tertutup. Keterbukaan ini berbeda dengan banyak model komersial yang membatasi penyebaran di perangkat akhir.
PrismML menyebut Bonsai 27B sebagai model reasoning terbuka penuh yang muat di iPhone. Pernyataan tersebut menegaskan bahwa batasan perangkat bukan lagi halangan untuk menjalankan model berskala besar. Kehadiran model ini juga menekan vendor agar transparan soal ukuran dan efisiensi AI di produk mereka.
Sementara itu, pengamat melihat langkah Apple mengevaluasi kompresi ini sebagai sinyal kuat arah perangkat pintar ke depan. Asisten di ponsel akan semakin mandiri dan tidak sekadar menjadi jembatan ke layanan awan. Efisiensi daya menjadi kriteria utama agar fitur AI tidak menguras baterai secara cepat.
Ke depan, kompresi 1-bit berpotensi merambah perangkat kelas menengah seiring turunnya harga memori. PrismML dan pengembang lain diproyeksikan merilis varian lebih kecil dengan performa setara untuk ponsel di bawah 6 GB RAM. Persaingan efisiensi model lokal bakal menjadi babak baru bagi ekosistem AI perangkat bergerak.
Proyeksi tersebut membuka peluang bagi vendor Indonesia untuk membundel model lokal ke sistem operasi lokal atau aplikasi produktivitas. Kolaborasi antara perguruan tinggi dan industri perlu dipercepat agar tidak tertinggal dari tren komputasi di tepi jaringan. Kemandirian model AI di perangkat menjadi langkah strategis di tengah ketergantungan impor teknologi.