Seorang insinyur mandiri memperkenalkan “differential oracle”, sebuah lapisan evaluasi yang memaksa kode agen untuk membuktikan sendiri kebenarannya. Ketika sebuah agen pertama kali menyentuh basis kode produksi—melakukan deployment, commit, atau perubahan yang dihadapi pengguna—sistem memerlukan tinjauan, pengujian, dan mekanisme untuk menangkap regresi secara otomatis. Masalah utamanya adalah kebenaran yang tidak dapat diperiksa secara manual, terutama pada skenario yang melibatkan ribuan kasus tepi.
Untuk mengilustrasikan konsep ini, pengembang membuat permainan match‑3 yang memiliki ribuan skenario edge case seperti cascade, reaksi berantai, dan aturan piece khusus yang tidak selalu memiliki jawaban jelas. Alih-alih mengandalkan satu implementasi, ia menjalankan dua versi secara paralel: satu dibangun dengan React dan yang lainnya dengan Java engine asli. Kedua sistem tersebut menggunakan tes invariant yang memastikan logika permainan tetap konsisten. Jika kedua implementasi tersebut menghasilkan kondisi papan yang berbeda, salah satu di antaranya pasti salah. Kesepakatan antara dua sistem yang dibangun secara independen ini memberikan sinyal yang jauh lebih kuat daripada sekadar lulusnya tes individu.
Oracle diferensial ini kemudian diintegrasikan ke dalam harness pengembangan otonom yang lebih besar, yang terdiri dari loop self‑reviewing (Strategi → Eksekusi → Kritik → Evaluasi → Operasional). Loop tersebut dilengkapi dengan kritikus independen, routing model per‑role, dan tangga otonomi human‑in‑the‑loop yang mengotomatisasi peluncuran tetapi tidak pernah menyetujui tindakan yang tidak dapat dibatalkan. Desain ini bertujuan untuk menciptakan sistem yang dapat menilai dirinya sendiri tanpa bergantung sepenuhnya pada intervensi manusia.
“Coding agents are easy to demo and hard to trust,” kata pengembang tersebut dalam tulisannya. “Agreement between two independently-built systems is a far stronger signal than either one passing its own tests — it has caught real bugs I'd never have found by playing.” Pendekatan ini telah berhasil menangkap bug yang sengaja disisipkan, seperti aturan yang memberikan hadiah gem khusus untuk pertandingan tiga buah, padahal aturan tersebut hanya berlaku untuk pertandingan empat buah atau lebih.
Di Indonesia, di mana banyak startup masih mengandalkan pengujian manual dan sumber daya terbatas, teknik seperti differential oracle dapat menjadi solusi untuk meningkatkan kualitas kode agen. Perusahaan lokal yang mengembangkan chatbot, asisten virtual, atau sistem pengambilan keputusan berbasis AI dapat mengadopsi pola ini untuk mengurangi risiko regresi yang tidak terdeteksi. Dengan menggunakan dua implementasi yang berjalan secara paralel, tim dapat membangun kepercayaan pada kode yang secara otonom melakukan perubahan, yang merupakan hal penting menjelang adopsi yang lebih luas dari sistem agen otonom di pasar regional.
“Evals and oracles are the hard, valuable part; getting a demo to work once is not the job,” ia menambahkan. “Two independent implementations that must agree beats one with a big test suite. Be honest about what's objectively measurable vs. what needs human judgment — don't fake a metric for the second.”
Ke depannya, konsep ini mungkin akan berevolusi menjadi standar industri untuk verifikasi kode agen. Perusahaan yang ingin merekrut talenta di bidang evaluasi dan rekayasa AI akan semakin menghargai profesional yang dapat merancang sistem pengujian otonom yang robust. Bagi para insinyur Indonesia, ini merupakan peluang untuk berkontribusi pada fondasi yang lebih andal bagi masa depan AI di Asia Tenggara.
Di luar aspek teknis, pendekatan ini juga membuka diskusi tentang keseimbangan antara otomatisasi dan pengawasan manusia. Meskipun harness dapat mengotomatisasi deployment, komponen persetujuan untuk tindakan kritis tetap berada di tangan manusia. Hal ini mencerminkan tren yang lebih luas di mana organisasi berusaha untuk memanfaatkan manfaat agen otonom tanpa mengorbankan akuntabilitas.
Bagi para pembaca yang tertarik untuk melihat implementasi nyata, repositori yang dapat dijalankan tersedia di GitHub, menampilkan dua implementasi, tes invariant, dan versi dengan bug yang sengaja disisipkan. Lebih dari 9.000 papan acak telah berhasil melewati suite pytest, yang membuktikan skalabilitas metode ini dalam skenario dunia nyata.