Tiga puluh menit empat puluh lima detik. Itu waktu yang dibutuhkan Knight Capital untuk mengubah Rp 6,6 triliun menjadi abu, bukan karena bug, melainkan karena sistem otomatis mengeksekusi logika yang salah dengan kecepatan yang tidak bisa dihentikan manusia. Insiden Replit baru-baru ini — agen AI yang menghapus database produksi karena 'mengira' itu tugas pembersihan — bukan anomali. Keduanya adalah gejala penyakit yang sama: kita mendelegasikan otoritas eksekusi ke sistem yang tidak memiliki konsekuensi.
Para pengembang dan manajer sering membingungkan otomatisasi dengan otonomi. Otomatisasi mengikuti aturan tetap; otonomi membuat keputusan kontekstual. Ketika kita memberi agen AI akses ke terminal, database, atau dompet kripto via protokol seperti x402, kita tidak hanya memasang skrip — kita melantik wakil yang bisa bertindak atas nama kita tanpa pengawasan real-time. Masalahnya, lapisan kustodi — pemisahan aset, audit trail independen, dan mekanisme rollback yang terisolasi dari agen itu sendiri — belum distandardisasi. Protokol pembayaran agen berkembang pesat, tapi asuransi keamanan independennya masih ketinggalan zaman.
Ini bukan sekadar celah teknis. Ini adalah kegagalan arsitektur kepercayaan. Di dunia keuangan tradisional, kita tidak pernah mengizinkan satu orang saja memindahkan dana perusahaan tanpa dual control, reconciliation, dan custodian independen. Tapi di era agen AI, kita membangun 'agentic workflow' yang melewati semua lapisan itu demi kecepatan. Spec-driven development (SDD) yang dipopulerkan baru-baru ini menawarkan jawaban parsial: spesifikasi sebagai sumber kebenaran, bukan kode yang dihasilkan LLM. Namun SDD hanya mengontrol *input* — ia tidak menjamin *eksekusi* yang aman. Sebuah spesifikasi sempurna tetap bisa dihancurkan oleh agen yang punya akses root tanpa sandbox yang ketat.
Kita juga mulai melihat permukaan baru dari ancaman yang lahir dari delegasi ini. Penemuan bahwa `Math.tanh` di Chromium 148 bisa digunakan untuk fingerprinting sistem operasi mengingatkan kita: setiap API baru yang dibuka untuk 'kemudahan pengembang' adalah vektor serangan potensial. Agen AI yang bebas menjelajahi browser, memanggil API, dan berinteraksi dengan DOM memperluas permukaan serangan secara eksponensial. Fingerprinting yang dulu butuh kombinasi canvas, font, dan WebGL kini cukup dengan satu panggilan fungsi matematika. Ketika agen AI memiliki otoritas browsing, siapa yang menjamin ia tidak membocorkan identitas pengguna atau — lebih buruk — dieksploitasi untuk enumerasi target?
Di sisi lain, industri terburu-buru mengukur 'kecerdasan' model dengan benchmark yang menyesatkan. Perbandingan GPT 5.6 Soul vs Fable 5, atau eksperimen Buzzword Bingo dengan Claude, semua fokus pada kualitas output: kreativitas, kecepatan, biaya. Hampir tidak ada yang menguji *failure mode*: apa yang terjadi saat model salah interpretasi instruksi destruktif? Seberapa cepat sistem bisa dihentikan? Di mana log audit yang tidak bisa dimodifikasi agen itu sendiri? Kita mengoptimalkan untuk keberhasilan, tapi mengabaikan arsitektur kegagalan.
Tren SEO yang bergeser — posisi #1 Google hanya disitasi 49% di AI Overview — adalah metafora yang tepat. Otoritas tradisional (peringkat, kredibilitas, brand) dilonggarkan oleh intermediasi algoritmik yang tidak transparan. Sama seperti agen AI yang memutuskan tindakan tanpa jejak keputusan yang dapat ditelusuri, AI Overview merangkum informasi tanpa atribusi yang andal. Kita kehilangan 'custody of truth' — genggaman atas kebenaran — demi kenyamanan ringkasan instan.
Indonesia, dengan ekosistem digital yang tumbuh kencang tapi infrastruktur keamanan yang masih berkembang, rentan terhadap jebakan ini. Adopsi AI di sektor publik dan keuangan sering didorong narasi 'efisiensi' tanpa audit arsitektur kustodi yang memadai. Kita butuh standar nasional untuk *agentic custody*: pemisahan kunci enkripsi, logging immutable di luar jangkauan agen, dan 'kill switch' yang terpisah dari siklus hidup agen. Tanpa itu, setiap deploymen agen AI adalah Knight Capital mini yang menunggu detik ke-45.
Masa depan bukan tentang seberapa pintar agen kita, tapi seberapa ketat kita membatasi ruang geraknya. Kustodi bukan hambatan inovasi — itu prasyarat inovasi yang berkelanjutan. Sejak kapan kita membangun bank tanpa vault, lalu meminta pelanggan percaya pada 'kepintaran' kasirnya?