Seorang insinyur perangkat lunak memberikan izin kepada model AI untuk mengirim pesan langsung ke saluran Slack timnya. Untuk mencegah kesalahan, ia membangun tiga lapisan pemeriksaan otomatis. Namun, audit mendalam terhadap log aktivitas mengungkapkan bahwa satu pemeriksaan sama sekali tidak pernah dijalankan, sementara pemeriksaan lainnya juga menyimpan kekurangan tersembunyi.
Pemeriksaan pertama memaksa AI menggunakan fungsi slack_search_channels untuk mencari nama saluran sebelum memasukkan ID channel. Proses ini mengubah pengenal yang hanya dapat dibaca mesin menjadi langkah yang dapat diperiksa manusia. Dalam satu sesi audit pada 2026-07-09, tujuh panggilan pencarian menghasilkan hanya satu hasil: saluran pribadi arsip yang tidak aktif sejak 2019. Enam panggilan lainnya kosong, dan target yang sebenarnya tidak pernah ditemukan. Cerita awal yang mengklaim panggilan ketujuh menemukan kecocokan ternyata salah; kesalahan ini baru terungkap setelah orang lain memeriksa hasil mentah alih-alih mempercayai ringkasan penulis.
Pemeriksaan kedua memanfaatkan alat MCP terpisah, slack_send_message_draft, yang dirancang khusus untuk pesan berisiko tinggi dengan menambahkan langkah konfirmasi sebelum pengiriman. Tujuannya adalah untuk mencegah pengiriman impulsif yang dapat merusak. Namun, audit menunjukkan nol penggunaan alat ini di seluruh proyek, yang berarti langkah konfirmasi tersebut tidak pernah diaktifkan.
Pemeriksaan ketiga tidak melibatkan panggilan alat sama sekali. Setelah pesan dikirim, penulis membuka kembali saluran dan memverifikasi secara manual bahwa jumlah pesan, penerima, dan konten sesuai dengan yang diharapkan. Proses ini tidak tercatat dalam log alat, sehingga tidak dapat diukur secara kuantitatif.
Kesenjangan antara asumsi "AI bekerja" dan kenyataan "saya dapat membuktikan apa yang dilakukannya)" menjadi jelas setelah penulis memeriksa kembali catatannya. Satu pemeriksaan tidak pernah dijalankan, dan pemeriksaan lainnya tidak memberikan jaminan yang kuat. Kejadian ini menyoroti bahaya mengandalkan output AI tanpa verifikasi yang dapat diaudit, terutama ketika ID saluran yang tidak dapat dibaca manusia dapat dengan mudah mengarah ke tujuan yang salah tanpa peringatan apa pun.
Bagi perusahaan teknologi di Indonesia, temuan ini sangat relevan. Banyak startup dan perusahaan mapan seperti Gojek, Tokopedia, dan platform SaaS lokal semakin mengadopsi chatbot yang terintegrasi Slack untuk komunikasi internal dan layanan pelanggan. Namun, sebagian besar mengadopsi praktik yang mengasumsikan bahwa "AI bekerja" tanpa membangun pemeriksaan berlapis yang sama. Tanpa pemeriksaan yang kuat, kesalahan pengiriman dapat menyebabkan kebocoran data, miskomunikasi merek, atau, seperti yang ditunjukkan oleh contoh saluran arsip, pesan yang hilang tanpa jejak.
Para ahli keamanan di Jakarta dan Silicon Valley memperingatkan bahwa pemeriksaan otomatis tidak cukup; perusahaan harus menerapkan pemeriksaan pra-pengiriman dan pasca-pengiriman yang terpisah dan terdokumentasi. "Jika Anda memberikan AI izin untuk berbicara atas nama Anda, Anda harus dapat membuktikan setiap kata yang dikirim," kata seorang analis keamanan siber terkemuka. "Auditabilitas harus menjadi prinsip desain, bukan renungan.")
"Jika AI melewatkan pencarian nama dan menggunakan ID saluran yang disimpan atau ditebak, ID tersebut dapat dengan mudah mengarah ke saluran mati yang sama—dan pesan akan hilang tanpa tanda bahaya apa pun," kenang penulis dalam ringkasan kasus tersebut. "Pemeriksaan pertama tidak selalu menemukan jawaban yang benar, tetapi membuat jawaban yang salah terlihat alih-alih diam-diam.")
Ke depan, para profesional yang merancang alur kerja AI harus mengadopsi pendekatan yang berlapis: gunakan alat pencarian untuk mengubah ID yang tidak dapat dibaca manusia menjadi nama yang dapat diperiksa, terapkan alat draf terpisah untuk pesan berisiko tinggi, dan selalu verifikasi secara manual setelah pengiriman. Perusahaan Indonesia yang ingin memanfaatkan otomatisasi AI sambil melindungi reputasi dan kepatuhan mereka harus memperlakukan pemeriksaan ini bukan sebagai opsional, tetapi sebagai fondasi teknis yang wajib. Dengan demikian, mereka dapat memanfaatkan kecerdasan buatan tanpa mengorbankan akuntabilitas.