Sebuah eksperimen pengujian chatbot layanan pelanggan e-commerce menunjukkan bahwa perbaikan yang ditargetkan pada system prompt dapat meningkatkan kinerja secara terukur. Tim penguji menggunakan platform BotCritic untuk menilai bot yang menangani pelacakan pesanan, pengembalian barang, pengembalian dana, dan pertanyaan produk terhadap empat tipe pengguna: penasaran, frustrasi, bingung, dan teknis.
Pada pengujian pertama, bot meraih skor 86 dari 100 dengan predikat B. Setelah tim menerapkan saran perbaikan berupa pembaruan system prompt, pengujian identik menghasilkan skor 91 atau predikat A. Lonjakan tersebut bukan sekadar angka, melainkan pembuktian bahwa saran teknis benar-benar berdampak pada respons nyata.
Latar belakang eksperimen ini berawal dari kebiasaan audit chatbot yang hanya berhenti pada daftar masalah. Banyak laporan evaluasi menyajikan temuan kerentanan namun tidak memverifikasi apakah solusi yang diusulkan memang menyelesaikan akar masalah. Tim penguji ingin menjawab pertanyaan yang lebih berguna: apakah rekomendasi perbaikan benar-benar berfungsi atau hanya terdengar masuk akal?
BotCritic sendiri merupakan alat yang menekankan pengujian berbasis persona pelanggan nyata. Dalam skenario e-commerce, bot diajukan ke situasi di mana pengguna memiliki emosi dan tingkat pengetahuan berbeda. Metode ini mengungkap kelemahan yang sering luput dari pengujian fungsional standar, seperti penanganan ambiguitas dan kasus batas waktu.
Pada putaran awal, bot menunjukkan empat kelemahan spesifik. Urutan pengecekan pesanan palsu terjadi ketika bot meminta nomor pesanan lalu mengaku tidak punya akses real-time, membuat pelanggan frustrasi makin cemas. Penjelasan pengembalian barang tidak pernah menyebut syarat item harus belum dipakai, belum dicuci, dan berlabel tag yang menjadi celah memicu penolakan gudang. Pemicu pengembalian dana ambigu soal kapan waktu mulai dihitung. Bot juga tidak memperingatkan batas 30 hari secara proaktif.
Bagi industri e-commerce Indonesia, temuan ini relevan karena banyak platform lokal seperti Tokopedia, Shopee, dan Bukalapak telah mengandalkan asisten virtual untuk layanan pelanggan. Volume transaksi tinggi membuat interaksi otomatis sering menjadi titik kontak utama. Jika bot salah mengelola ekspektasi, misalnya menjanjikan pelacakan yang tidak ada, kepercayaan konsumen langsung tergerus.
Di sisi lain, tingkat kedewasaan audit AI di tanah air masih beragam. Sebagian besar perusahaan masih mengukur keberhasilan chatbot dari rasio penyelesaian otomatis daripada kedalaman kualitas respons. Eksperimen skor 86 ke 91 memperlihatkan bahwa penyempurnaan pesan sistem bisa dilakukan tanpa mengubah infrastruktur, langkah hemat yang bisa diadopsi startup lokal.
Dampaknya meluas ke pengalaman pengguna akhir. Pelanggan Indonesia yang sering mengeluhkan pengembalian barang ditolak karena syarat tidak jelas akan terbantu jika bot secara konsisten mencantumkan aturan. Demikian pula, kejelasan waktu pengembalian dana sejak konfirmasi gudang, bukan sekadar scan kurir, dapat menekan eskalasi komplain ke media sosial.
Tim penguji menekankan bahwa kategori dengan lompatan terbesar adalah ketangguhan (robustness) dari 78 menjadi 88. Peningkatan itu logis karena setiap masalah yang diperbaiki berkaitan dengan cara bot menangani ambiguitas dan data hilang, bukan pengetahuan kebijakan inti yang sudah akurat sejak awal.
Meski skor mencapai 91, laporan sengaja menyisakan celah kecil seperti bahasa ragu pada pertanyaan soal API developer yang tidak ada dan keterlambatan menyebut ambang eskalasi. Penguji membiarkannya untuk menunjukkan bahwa sistem sekuat apa pun tetap punya lapisan masalah residual. Audit, tegas mereka, adalah proses berkelanjutan, bukan kejadian sekali jalan.
Ke depan, tren audit berbasis bukti akan makin penting seiring meluasnya agen AI otonom di sektor ritel. Alat seperti BotCritic dengan tingkat gratis memungkinkan pengembang lokal menjalankan uji ulang tanpa kartu kredit, mempercepat siklus perbaikan. Komunitas teknologi Indonesia perlu menjadikan verifikasi ulang sebagai standar, bukan sekadar daftar bug.
Langkah berikutnya bagi pemilik bot adalah menyusun rutinitas evaluasi berkala dengan persona lokal yang mencerminkan perilaku belanja masyarakat. Dengan menggabungkan konteks bahasa dan regulasi perlindungan konsumen di Indonesia, peningkatan skor bukan lagi sekadar angka, melainkan jaminan layanan yang lebih manusiawi.