Sebuah alat baru bernama Picchio hadir untuk membongkar klaim kinerja yang seringkali menyesatkan dari model kecerdasan buatan (AI) lokal. Alat ini mampu mengukur secara akurat metrik penting seperti 'bits per weight' (bpp) dan kecepatan pemrosesan token per detik (tok/s), yang krusial untuk mengevaluasi efisiensi model AI yang dijalankan secara lokal di perangkat pengguna.
Seringkali, penyedia model AI hanya menampilkan satu angka kecepatan tok/s yang terdengar mengesankan. Namun, angka tersebut bisa jadi tidak mewakili gambaran utuh. Picchio menyoroti tiga mode kegagalan umum yang dapat menyembunyikan performa sebenarnya dari model AI. Melalui empat kuantisasi dari model yang sama, Qwen3.5-9B, yang semuanya dilabeli sebagai Q4_K_M, ditemukan perbedaan signifikan dalam 'bits per weight' yang mencapai 5.02, 5.07, dan bahkan 5.27 bpp. Padahal, label kuantisasi yang sama seharusnya menyiratkan hasil yang serupa.
Perbedaan ini berdampak besar pada kinerja. Picchio menemukan bahwa kehilangan efisiensi pada kuantisasi dapat menyebabkan penurunan kecepatan pemrosesan hingga 22 kali lipat saat tahap pra-pengisian (prefill) dan hampir 2 kali lipat saat tahap dekode, meskipun menggunakan file model yang sama. Hal ini menunjukkan bahwa label kuantisasi yang identik tidak menjamin performa yang konsisten.
Lebih lanjut, Picchio juga berhasil mereproduksi kegagalan mode fallback CPU yang senyap. Kecepatan 36 tok/s yang sebelumnya dilaporkan oleh pustaka `llama.cpp` ternyata tidak muncul dalam pengujian matriks 32 sel yang dilakukan Picchio, mengindikasikan bahwa model tersebut mungkin tidak sepenuhnya memanfaatkan akselerasi GPU yang dijanjikan.
Alat ini bekerja dengan memecah pengukuran menjadi tiga komponen: pra-pengisian (prefill), dekode (decode), dan waktu dinding (wallclock). Picchio secara cermat membandingkan log keluaran mesin AI dengan metrik penggunaan GPU dari sistem operasi. Hasilnya adalah sebuah laporan yang jelas, menyatakan apakah GPU benar-benar melakukan pekerjaan atau tidak, dan memberikan alasan di baliknya.
Untuk menggunakan Picchio, pengguna hanya perlu mengunduh satu file Python (`picchio.py`) dan menjalankannya. Alat ini secara otomatis mendeteksi lokasi model AI lokal yang terpasang, seperti dari Ollama, folder saat ini, atau cache Hugging Face dan LM Studio. Pengguna dapat memilih model yang ingin diuji.
Jika pengguna memasukkan path file `.gguf`, Picchio akan menjalankan diagnosis `llama.cpp` secara mendalam. Sementara itu, jika pengguna memasukkan tag Ollama, alat ini akan langsung masuk ke mode pengukuran.
Picchio memerlukan Python 3 dan salah satu dari `llama.cpp` atau Ollama untuk berjalan. Pengujian biasanya memakan waktu sekitar satu menit jika GPU aktif, namun bisa memakan waktu beberapa menit jika beralih ke CPU.
Untuk memastikan akurasi, Picchio menyimpan file cache di `~/.cache/picchio` dan tidak meninggalkan jejak lain. Perintah `--selftest` memungkinkan pengguna memutar ulang log mesin mentah dan memverifikasi setiap keputusan yang dibuat oleh Picchio, memastikan konsistensi alat ini.
Berbagai perintah tersedia dalam Picchio untuk kebutuhan analisis yang berbeda. Perintah `model.gguf` memberikan diagnosis `llama.cpp` lengkap, sementara `qwen3.5:9b` mengukur model melalui server Ollama lokal. Ada pula perintah `compare A.txt B.txt` untuk membandingkan dua hasil pengukuran yang tersimpan, dan `guard -- <command>` untuk memantau penggunaan GPU saat menjalankan perintah kustom.
Pemahaman mendalam tentang kuantisasi model AI menjadi semakin penting seiring dengan maraknya penggunaan AI generatif di berbagai perangkat. Picchio hadir sebagai solusi krusial untuk memverifikasi klaim kinerja dan memastikan pengguna mendapatkan performa terbaik dari model AI yang mereka gunakan.
Dengan alat seperti Picchio, komunitas pengembang dan pengguna AI dapat memiliki pandangan yang lebih objektif dan terukur mengenai kemampuan sebenarnya dari model-model AI lokal. Ini akan mendorong transparansi dan inovasi yang lebih sehat dalam ekosistem AI.
Ke depan, diharapkan alat seperti Picchio dapat diadopsi lebih luas, bahkan terintegrasi ke dalam platform pengembangan AI, untuk memberikan jaminan kualitas dan kinerja yang konsisten bagi para penggunanya di seluruh dunia.