Enam framework evaluasi model bahasa besar (LLM) open-source diuji secara langsung di antrian penggabungan (merge queue) produksi selama delapan bulan. Hanya dua di antaranya — Promptfoo dan DeepEval — yang mampu bertahan sebagai gerbang integrasi berkelanjutan (CI gate) yang andal. Temuan ini mengubah pandangan konvensional yang biasanya menilai framework berdasarkan daftar metrik dan fitur, bukan kestabilan di lingkungan nyata.
Penulis artikel asli, Ethan, memasang masing-masing framework ke alur kerja GitHub Actions yang sama, mengujinya terhadap seperangkat data emas (golden set) berisi sekitar 60 pasangan masukan dan keluhan harapan untuk fitur jawaban dukungan. Tiga metrik utama dipantau: tingkat kegagalan palsu (flake rate) pada masukan yang tidak berubah, penambahan waktu eksekusi per jalannya, dan tagihan token bulanan. Aturan mutlak diterapkan: metrik hanya boleh berada di jalur pemblokiran jika tidak pernah membalik keputusan pada masukan yang identik.
Latar belakang pengujian ini bermula dari insiden nyata dua tahun lalu. Saat itu, Ethan memasang metrik LLM-as-judge dengan ambang batas 0,8 ke merge queue. Tampak bersih di demo, namun tiga minggu kemudian gerbang itu memblokir empat belas pull request dan sebuah rilis selama akhir pekan. Alasannya: penilai (judge) memberi skor 0,83 pada hari Jumat dan 0,78 pada hari Senin untuk keluaran yang persis sama — prompt, model, dan seed identik. Ethan harus membatalkan gerbang itu pukul 1 dini hari dari ponselnya. Regresi yang seharusnya dicegah tidak pernah ada.
Pengalaman pahit itu menjadi lensa untuk menilai keenam framework. Sebuah gerbang CI hanya punya satu tugas: gagal saat ada yang rusak, lulus saat tidak ada yang rusak, dan melakukannya dengan cara yang sama setiap kali. Framework evaluasi bisa memiliki metrik terbaik di dunia, namun jika metrik itu goyah, ia menjadi gerbang yang buruk. Daftar fitur di blog atau notebook tidak pernah menghukum non-determinisme; merge queue menghukumnya di hadapan seluruh tim.
Pola yang memutuskan peringkat ternyata sederhana: apakah pemeriksa pemblokir memanggil model, atau tidak. Pemeriksa deterministik — pencocokan string, skema JSON, ekspresi reguler, pencocokan tepat — lulus dan gagal dengan cara yang sama setiap kali, selesai dalam kurang dari satu detik, dan tidak mengeluarkan biaya. Sebaliknya, setiap gerbang berbasis penilai yang diuji mengalami pergeseran (drift) di dekat ambang batasnya setidaknya sekali dalam delapan bulan, dan dua di antaranya memblokir PR bersih setidaknya sekali.
Promptfoo (lisensi MIT) menempati posisi teratas berkat kaitan CLI yang mengembalikan kode keluar (exit code), keluaran JSON, dan GitHub Action yang dipelihara. Puluhan assertion tersedia, baik deterministik maupun berbasis penilaian, dengan LLM-as-judge bersifat opsional. Cocok untuk gerbang CLI di tumpukan teknologi apa pun. DeepEval (Apache-2.0) mengikuti di urutan kedua dengan pembungkus pytest (deepeval test run), menawarkan lebih dari 20 metrik, meski LLM-as-judge menjadi bawaan untuk kebanyakan metriknya. Cocok untuk gerbang berbasis Python dengan pytest.
Future AGI (Apache-2.0) menempati urutan ketiga. Kaitan CI-nya memanggil evaluate() di harness sendiri, dengan lebih dari 50 metrik (lokal dan hybrid judge), LLM-as-judge opsional. Cocok untuk SDK evaluasi yang dikendalikan dari Python atau TypeScript. RAGAS (Apache-2.0) di urutan keempat, difokuskan pada pengukuran kualitas RAG dengan sekitar selusin metrik spesifik RAG, mayoritas berbasis penilai. Arize Phoenix (Elastic License 2.0) dan MLflow evaluate (Apache-2.0) menutup daftar, keduanya lebih cocok untuk pelacakan dan observabilitas serta pencatatan eksperimen, bukan sebagai gerbang pemblokir merge.
Implikasi bagi tim engineering Indonesia yang mulai mengadopsi LLM di produksi jelas: jangan tergiur daftar metrik panjang di README. Pilih framework yang memisahkan jalur pemblokiran deterministik dari jalur sinyal penilai yang bersifat konsultatif. Paksa framework untuk mengembalikan kode keluar nol (sukses) atau non-nol (gagal) dalam hitungan detik, bukan menit. Biaya token bulanan yang tak terduga bisa menguras anggaran cloud yang tidak dibudgetkan.
Di konteks ekosistem teknologi Indonesia, di mana banyak startup dan enterprise baru memulai perjalanan LLM — dari chatbot layanan pelanggan hingga sistem RAG untuk basis pengetahuan internal — pelajaran ini menghemat waktu dan uang. Tim tidak perlu belajar melalui kegagalan malam hari seperti yang dialami Ethan. Memilih Promptfoo atau DeepEval sebagai gerbang CI, sambil memindahkan evaluasi kualitatif ke pipeline terpisah (misalnya harian atau mingguan), adalah strategi yang lebih dewasa.
Ethan menegaskan ia tidak berargumen evaluasi kualitatif tidak berguna. Ia menjalankan banyak evaluasi semacam itu. Argumennya: merge queue adalah tempat spesifik dan tidak pengampunan. Alat yang berada di sana tidak selalu alat dengan daftar metrik terpanjang. Gerbang yang memblokir PR bersih melatih tim untuk memaksa penggabungan (force-merge) melewatinya. Begitu tim rutin memaksa penggabungan melewati gerbang, gerbang itu berhenti melindungi apapun. Ia hanya menambah klik yang telah dipelajari semua orang untuk diabaikan.
Ke depan, tren evaluasi LLM akan bergerak ke arsitektur dua lapis: lapisan cepat, deterministik, dan murah untuk gerbang CI; lapisan kaya, berbasis penilai, dan mahal untuk observabilitas dan pengambilan keputusan produk. Framework yang menyediakan pemisahan bersih ini — seperti Promptfoo dengan assertion deterministik dan judge opsional, atau DeepEval dengan opsi menonaktifkan judge di jalur pemblokiran — akan mendominasi adopsi produksi. Bagi tim Indonesia, saatnya mengevaluasi ulang pipeline CI/CD sebelum skala PR merambah puluhan per hari.