Sebuah eksperimen verifikasi otomatis baru-baru ini mengejutkan komunitas pengembang: sistem yang direvisi lulus seluruh 16 skenario uji coba yang sebelumnya dibekukan, divalidasi ulang oleh pemeriksa independen dengan hasil identik, namun penulisnya justru menarik kesimpulan mengejutkan. Skor hijau sempurna itu justru membuktikan betapa dangkalnya definisi "lulus" yang selama ini dipakai. Bukti digital, ternyata, tidak pernah bersifat final — ia hanyalah janji untuk membuka kembali klaim saat dasar kepercayaan berubah.
Penemuan ini muncul dari proyek lanjutan "The Citation Lied Without Lying", di mana gerbang pertama berhasil menangkap kegagalan berbentuk sitasi: kutipan asli benar, tapi hubungan yang diklaim model dari kutipan itu palsu. Sistem mengklaim satu aturan menggantikan aturan lain, padahal dokumen sumber tidak pernah menyatakan demikian. Pemeriksa sitasi biasa hanya mencocokkan frasa dan melewatkannya — presisi kata dikira presisi relasi. Perbaikan pertama memaksa gerbang menuntut bahasa perubahan eksplisit, tumpang tindih ruang lingkup, target yang bisa diselesaikan, dan span sitasi yang benar-benar mengikat relasi yang diklaim.
Namun perbaikan deterministik itu sendiri menemui dinding. Dua aturan bisa saling kontradiktif tanpa kalimat "menggantikan". Negasi membalik span yang sempurna. Arah hubungan bisa terbalik meski nama aturan dan kata perubahan berdampingan. Saat Kartik menanyakan bagaimana menentukan arah entailmen tanpa menjalankan NLI di setiap span, jawaban jujurnya: tidak bisa. Gerbang hanya mengonfirmasi kelas sempit yang benar-benar bisa diadili; sisanya harus gagal keras sebagai "di luar cakupan" bukan lulus diam-diam karena sitasinya terlihat sah.
Masalah lalu bergeser ke waktu penulisan. Komentar tidak bersifat pujian — setiap jawaban dihadapkan pada pertanyaan: apa yang mengotorisasi itu? Jackson mendorong relasi menuju fakta waktu-tulis bukan prosa rekonstruksi pasca-fakta, dan menangkap pengecualian: "Aturan B menggantikan Aturan A untuk pelanggan UE" tidak boleh diam-diam mempensun Aturan A di mana-mana. Mudassir mengalami hal serupa di dokumen kebijakan, model menyimpulkan penggantian dari teks kontradiktif yang tidak pernah diklaim kalimat manapun. Nexus-lab-zen membawa ke laporan penyelesaian agen: kode keluar asli dan jalur file asli tetap bisa mendukung klaim palsu bahwa pekerjaan selesai. Presisi laporan bukan presisi keadaan.
Mike lalu menamai permukaan serangan berikutnya. Label kepercayaan-rendah bukan kegagalan — pencucian itulah. Masukkan klaim prosa-saja dengan benar ke tumpukan kepercayaan-rendah saat penulisan, dan jika tidak ada alarm saat seseorang nanti memperlakukannya sebagai terverifikasi, pembagian dua tingkat itu hanyalah ruang tunggu untuk kebohongan yang sama. Dipankar memecahkan model otoritas dari sisi lain: izin menulis catatan baru bukan izin mempensun yang lama. Di toko penulis tunggal tak terasa, karena satu aktor menguasai kedua ujung. Di toko multi-agen, penggantian adalah tepi dua pihak: pemilik target — atau hibah sempit dari pemilik itu — harus mengotorisasi pensiunan.
Akibatnya, relasi tidak bisa lagi bersifat sederhana seperti {"from": "rule_b", "relation": "supersedes", "to": "rule_a"}. Ia harus membawa apa yang mengotorisasi tepi itu: siapa yang meminta, siapa yang memiliki target, hibah mana yang berlaku, apakah hibah itu masih hidup saat penulisan, cakupan apa yang dicakup, dan dari mana otoritas itu benar-benar berasal. Gerbang berhenti bertanya apakah kalimat itu meyakinkan. Ia mulai bertanya apakah prinsipal diizinkan menghabiskan otoritas atas catatan orang lain.
Skor 16/16 itu sendiri ternyata tidak cukup. Serangan dibekukan sebelum pertahanan dibangun — dan kebanyakan serangan itu bukan karya penulis, melainkan pembaca di kolom komentar: Jackson, Mike, Dipankar, Alex. Itulah satu-satunya hal yang membuat fixture yang dinilai sendiri bernilai. Pekerjaan dibagi ke tiga tangan yang tidak saling percaya: pembangun yang membangun pertahanan, pemeriksa independen yang tidak pernah melihat penalaran pembangun, dan musuh yang hanya mencoba memecahkan dan tidak pernah memperbaiki apa yang ia pecahkan.
Pembangun membangun evaluator otoritas-toko dan menghasilkan lari bersih pertama: 16 dari 16, satu kasus batas diketahui dilapor terpisah, regresi hijau. Pemeriksa independen menghitung ulang dari mentah. Skor sama, semuanya sama. Lalu pemeriksaan turun satu level lebih dalam — dan menemukan fixture hanya menjalankan hukum baru melalui sebagian jalur yang masih diterima kode. Perbedaan itulah intinya. Pemeriksa tidak membuktikan pembangun berbohong. Ia membuktikan hal yang lebih buruk bagi siapa pun yang mencintai papan skor hijau: skor sempurna bisa tersembunyi di balik cakupan uji yang tidak lengkap.
Bagi industri teknologi Indonesia yang sedang gencar mengadopsi AI untuk verifikasi dokumen, e-KYC, dan otomatisasi kepatuhan, pelajaran ini krusial. Banyak solusi lokal mengandalkan pencocokan pola atau sitasi tingkat permukaan — persis pendekatan yang terbukti rapuh. Bank, fintech, dan platform e-commerce yang memverifikasi identitas atau legalitas dokumen via LLM harus sadar: skor akurasi tinggi pada data uji statis tidak menjamin ketahanan terhadap serangan waktu-tulis, pencucian kepercayaan, atau eskalasi privilese lintas agen. Standar verifikasi harus naik dari "apakah kutipan ini ada?" ke "siapa yang berhak mengikat relasi ini?".
Di Indonesia, di mana regulasi data pribadi (UU PDP) baru mulai ditegakkan dan ekosistem multi-agen seperti open banking atau identitas digital terdesentralisasi mulai berkembang, model otoritas dua pihak ini bukan teori — itu kebutuhan hukum. Sebuah sistem yang mengizinkan agen verifikasi satu mempensun data yang dikendalikan agen lain tanpa hibah eksplisit melanggar prinsip minimisasi data dan keizinan. Pengembang lokal harus mulai merancang log audit yang mencatat siapa yang mengotorisasi apa, kapan, dan di bawah cakupan apa — bukan hanya apa yang diklaim model.
Langkah selanjutnya proyek ini adalah memperluas evaluator otoritas agar menutupi seluruh jalur kode yang masih terbuka, serta mengformalkan kontrak antara pembangun, pemeriksa, dan musuh sebagai standar verifikasi yang bisa diadopsi industri. Jangka panjang, visinya adalah gerbang verifikasi yang tidak pernah "selesai" — ia selalu siap dibuka kembali saat bukti baru, otoritas baru, atau ancaman baru muncul. Karena seperti yang dibuktikan 16/16 ini: resit bukan bukti selamanya. Ia janji untuk membuka kembali klaim.