Peneliti keamanan web James Kettle mempresentasikan temuan mengejutkan di konferensi Black Hat di Las Vegas, Rabu lalu. Ia membuktikan bahwa kecerdasan buatan agentik — sistem AI yang bisa bertindak mandiri — masih kesulitan merancang jalur serangan baru sepenuhnya tanpa campur tangan manusia. Namun, ketika dikombinasikan dengan keahlian peneliti, AI justru jadi alat yang sangat ampuh untuk mengungkap celah keamanan yang selama ini tak terduga.
Penelitian Kettle dimulai September 2025 menggunakan model terbaru dari Anthropic dan OpenAI. Tujuannya sederhana: menguji apakah AI mampu melakukan riset keamanan teoritis dan menemukan vektor serangan yang belum pernah diketahui. Hasilnya menunjukkan realitas yang nuansa. AI memang bisa memindai kode dan dokumentasi dengan kecepatan melebihi manusia, menemukan ribuan contoh kerentanan terbukti dalam hitung bulan — volume yang butuh tahun jika dikerjakan manual. Tapi untuk melangkah dari pola yang sudah ada menuju konsep serangan yang benar-benar baru, AI masih butuh arahan.
Latar belakang percobaan ini bermula dari kekhawatiran industri keamanan siber soal kemampuan AI dalam mengotomatiskan penemuan dan eksploitasi kerentanan. Beberapa organisasi AI besar baru-baru ini mengungkap kasus nyata di mana sistem mereka digunakan untuk aktivitas peretasan berbahaya. Kettle ingin melihat apakah AI benar-benar bisa "berpikir" seperti penelisi keamanan senior, atau hanya mengulang pengetahuan yang sudah ada di data latihannya. Ia menyadari awalnya bahwa model cenderung mengklaim temuan esoteris yang sulit diverifikasi sebagai orisinalitas, sehingga ia membatasi ruang lingkup pengujian ke bidang keahliannya sendiri: keamanan aplikasi web.
Dengan melatih model menggunakan metodologi riset pribadinya, Kettle menciptakan loop umpan balik yang produktif. Setiap beberapa hari, sistem mengirimkan temuan menarik tanpa ia perlu login terus-menerus. Volume temuan justru menciptakan kecemasan — ia merasa FOMO (fear of missing out) tak bisa mengeksplorasi semua jejak penelitian yang dihasilkan AI. Hal ini memaksa dia mengotomatiskan analisis lebih lanjut, menciptakan siklus di mana manusia dan mesin saling memperkuat kemampuan satu sama lain.
Puncak kolaborasi ini adalah penemuan kelas kerentanan baru yang dinamai "Shared-Parser Confusion". Konsepnya sederhana tapi mendasar: banyak server web menggunakan kode parser yang sama untuk memproses permintaan (request) dan respons (response). Permintaan datang dari sumber tak terpercaya, tapi respons dianggap aman karena berasal dari server sendiri. Jika parser yang sama dipakai untuk keduanya, penyerang bisa memanipulasi permintaan sehingga memicu perilaku berbahaya saat server memproses responsnya sendiri.
"Ini urusan besar," ujar Kettle kepada Wired sebelum presentasinya. "Permintaan ke situs web sepenuhnya tak terpercaya, bisa berisi apa saja. Tapi respons dipercaya. Jadi ini permukaan serangan masif yang bisa menyebar ke banyak jenis serangan." AI tidak mampu membuktikan eksploitabilitas temuan ini sendiri. Ia menganalisis temuan nyata, lalu mengajukan hipotesis. Kettle yang mengevaluasi dan mengonfirmasi validitasnya. Hasilnya: satu target rentan ditemukan, meski tipe bug-nya sangat langka dan tidak eksploitabel pada target tersebut.
Bagi lanskap keamanan siber Indonesia, temuan ini menggarisbawahi urgensi membangun tim yang memahami kolaborasi manusia-AI, bukan sekadar mengandalkan alat otomatis. Banyak perusahaan lokal mulai mengadopsi scanner kerentanan berbasis AI, tapi sedikit yang memiliki metodologi riset sendiri untuk melatih model tersebut. Kementerian Komunikasi dan Digital (Komdigi) serta BSSN (Badan Siber dan Sandi Negara) telah mendorong penguatan kapasitas SDM keamanan siber, namun kurikulum pelatihan jarang menyentuh aspek "red teaming" dengan AI generatif. Keterbatasan ini berisiko membuat organisasi Indonesia hanya jadi konsumen alat, bukan pengembang metodologi.
Di sisi lain, komunitas keamanan Indonesia seperti IDNIC, OWASP Indonesia, dan berbagai komunitas bug bounty sudah mulai bereksperimen dengan LLM untuk analisis kode dan pembuatan payload. Temuan Kettle memberikan validasi akademis bagi praktik yang sudah mereka lakukan: gunakan AI untuk skala dan kecepatan, tapi pertahankan keputusan akhir di tangan manusia. Pendekatan ini juga relevan untuk regulasi PDP (Perlindungan Data Pribadi) yang menuntut akuntabilitas keputusan keamanan — sesuatu yang tidak bisa diserahkan sepenuhnya ke algoritma.
Kettle menegaskan bahwa temuan Shared-Parser Confusion, meski lahir dari kolaborasi, berdampak jangka panjang paling besar. "AI tidak bisa membuktikannya sendiri, tapi ia menganalisis temuan nyata dan mengajukan hipotesis. Saya yang mengevaluasi dan mengonfirmasi. Itu temuan yang paling berdampak. AI tidak bisa melakukannya sendirian, dan saya pasti tidak akan menemukannya sendirian. Bersama kita berhasil." Pernyataan ini mengubah narasi dari "AI menggantikan peneliti" menjadi "AI memperluas jangkauan peneliti."
Masa depan penelitian keamanan siber kemungkinan besar akan mengadopsi model "centaur" ini: manusia memberikan arah strategis, konteks bisnis, dan validasi etis; AI menangani enumerasi skala besar, pengenalan pola, dan generasi hipotesis. Bagi Indonesia, peluangnya ada pada pengembangan framework riset keamanan lokal yang dilatih dengan data ancaman spesifik nusantara — misalnya pola serangan pada sistem perbankan digital, e-commerce, atau infrastruktur pemerintahan. Tanpa data dan metodologi sendiri, organisasi Indonesia akan terjebak pada kemampuan generik model global.
Langkah selanjutnya bagi industri adalah menginvestasikan sumber daya untuk membangun "corpus pengetahuan keamanan" internal yang bisa dilatih ke model AI tertutup. Hal ini butuh kolaborasi antar lembaga: akademisi menyediakan metodologi, industri menyediakan data insiden (dengan anonimisasi), dan pemerintah menyediakan kerangka regulasi berbagi data ancaman. Black Hat 2025 baru membuka pintu; yang masuk dan memanfaatkan ruang baru itu akan menentukan siapa yang unggul dalam perlombaan keamanan siber era AI.