Sejumlah penelisi independen mengungkapkan kelemahan arsitektural pada model bahasa besar (LLM) yang membuatnya rentan terhadap manipulasi fundamental. Temuan ini disajikan di International Conference on Machine Learning (ICML) bulan ini, menantang asumsi industri bahwa keamanan AI dapat ditingkatkan melalui pelatihan berulang dan red-teaming konvensional.
Inti masalah terletak pada cara LLM membedakan sumber instruksi. Model-model populer menggunakan tag peran — seperti <user>, <assistant>, <system>, dan tag khusus untuk chain-of-thought — untuk melacak siapa yang 'berbicara'. Namun eksperimen menunjukkan LLM justru mengandalkan gaya penulisan dan pola kata, bukan tag tersebut, untuk mengidentifikasi peran.
Charles Ye, peneliti independen dan co-author makalah ICML, menilai ada probabilitas nyata bahwa ini adalah masalah yang fundamental tidak bisa diselesaikan. "Pendekatan saat ini hanya memberi daftar larangan pada model," ujar Jasmine Cui, co-author lainnya. "Tapi tidak ada daftar yang lengkap. Ini mirip Bart Simpson ditulis surat 'aku tidak akan bicara kasar' seratus kali, tapi tetap saja nakal."
Serangan chain-of-thought forgery bekerja dengan meniru gaya catatan internal model. Penelisi memasukkan prompt berbahaya diikuti teks yang meniru chain-of-thought palsu, misalnya mengklaim kebijakan mengizinkan instruksi pembuatan kokain jika pengguna memakai baju hijau. Model gpt-oss-20b dan GPT-5 pun menjawab dengan patuh, mengira instruksi itu berasal dari pemrosesan internalnya sendiri.
Celakanya, kerentanan ini tidak terbatas pada OpenAI. Cui dan Ye mengonfirmasi pola serupa teramati pada model buatan Anthropic, Alibaba, dan DeepSeek. Penemuan ini justru memenangkan hackathon red-teaming OpenAI pada Agustus 2025 — ironisnya, tim internal OpenAI juga menemukan serangan serupa secara independen melalui GPT-Red, model peretas otomatis mereka.
Mekanisme di balik kelemahan ini sederhana namun mendalam. Saat manusia berbicara, kita tahu kata mana keluar dari mulut sendiri karena merasakan gerakan bibir. LLM hanya melihat aliran token kontinu: prompt pengguna, respons model sebelumnya, catatan chain-of-thought, teks dari dokumen eksternal, semuanya tercampur jadi 'satu lembar token besar', kata Cui.
Tag peran seharusnya jadi pemisah. Tapi eksperimen menukar tag — misalnya mengganti tag chain-of-thought dengan tag user — hampir tidak mengubah interpretasi model. Jika teks 'terlihat' seperti catatan internal, model memperlakukannya sebagai miliknya sendiri, terlepas dari tag yang mengapitnya.
Ini mengikis fondasi keamanan LLM modern. Sebagian besar jailbreak dan prompt injection justru memanfaatkan kebingungan peran: membuat model membaca teks user sebagai system, atau teks tool sebagai user. Pelatihan ketahanan saat ini berfokus pada mendeteksi instruksi di tempat 'salah'. Tapi jika model tidak bisa andal membedakan peran dari tag, fondasi itu runtuh.
Bagi ekosistem teknologi Indonesia, implikasinya serius. Pemerintah dan perusahaan mulai mengadopsi LLM untuk layanan publik, perbankan, kesehatan, dan sistem kritis lainnya. Jika celah ini fundamental tidak bisa ditutup, strategi keamanan berbasis 'daftar larangan' dan red-teaming berkala tidak cukup. Butuh pendekatan arsitektur baru — mungkin pemisahan alur data yang ketat, verifikasi kriptografis sumber instruksi, atau paradigma model yang berbeda sama sekali.
Beberapa pakar lokal menilai ini seharusnya jadi panggilan bangun bagi vendor dan regulator. BSSN dan Kominfo perlu memastikan standar keamanan AI tidak hanya mengandalkan sertifikasi model, tapi menguji ketahanan terhadap manipulasi peran fundamental. Startup AI domestik yang membangun aplikasi di atas LLM pihak ketiga harus menerapkan lapisan validasi independen, tidak percaya sepenuhnya pada guardrails model dasar.
Jangka pendek, mitigasi praktis meliputi pemantauan ketat chain-of-thought output, pembatasan akses ke mode reasoning terstruktur, dan isolasi lingkungan eksekusi. Jangka panjang, komunitas peneliti global harus mencari arsitektur yang memisahkan identitas sumber secara kryptografis atau arsitektural, bukan statistik. Hingga itu tercapai, kepercayaan penuh pada LLM untuk tugas berisiko tinggi tetap bermasalah.