Seorang insinyur di platform agent AI melihat tagihan API melonjak tiga kali lipat dalam semalam, bukan karena model yang bermasalah, melainkan karena cache prompt yang rusak. Peristiwa ini terungkap setelah tim memeriksa metrik cache-hit-rate yang ternyata nol persen sepanjang bulan‑bulan sebelumnya. Penyebabnya sederhana namun tersembunyi: sebuah baris tambahan yang bertujuan membuat model "lebih membantu" justru memutus kesamaan byte demi byte yang diperlukan agar bagian statis dari permintaan tetap tersimpan di cache.
Di balik layar, prompt caching berfungsi sebagai diskon otomatis yang hanya berlaku jika awalan permintaan cocok persis dengan panggilan sebelumnya hingga titik yang ditentukan (breakpoint). Jika ada satu token berbeda sebelum breakpoint, seluruh awalan setelah titik itu gagal cocok, sehingga provider harus memproses ulang seluruh token dan mengenakan biaya penuh. Tim tersebut memiliki blok sistem sebesar 18.000 token yang berisi skema alat, dokumen, dan contoh few‑shot yang statis di setiap panggilan. Namun, karena timestamp waktu disisipkan di posisi terdepan pada setiap permintaan, kesamaan byte terputus sejak token pertama, membuat cache hit rate menjadi nol.
Dampak finansialnya langsung terasa. Dengan 3.000 panggilan per hari, blok 18.000 token yang seharusnya hanya dikenakan biaya sekitar 10 % dari harga normal justru dibayar penuh setiap kali. Angka ini setara dengan 54 juta token yang dikenakan tarif penuh setiap hari—sebuah pengeluaran yang bisa mencapai tiga hingga sepuluh kali lebih besar dari yang seharusnya, tergantung volume lalu lintas.
Insiden ini juga menyoroti dua perangkap umum yang sering tidak disadari oleh pengembang. Pertama, metadata yang disisipkan otomatis seperti timestamp, ID permintaan, atau trace ID oleh middleware dapat muncul sebelum sistem prompt yang sudah disusun dengan cermat. Kedua, urutan non‑deterministik—misalnya iterasi melalui set atau kamus saat membuat definisi alat—dapat mengubah urutan byte antar deployment, sehingga cache gagal terisi meskipun kode terlihat benar.
"Kami hanya mengetahuinya karena seseorang menambahkan pemantauan cache-hit-rate sebagai metrik tambahan," kata insinyur tersebut. "Jika tidak, kami pasti akan terus membayar lebih tanpa sadar selama berminggu‑minggu."
Bagi perusahaan AI di Indonesia, cerita ini sangat relevan. Banyak startup lokal yang mengandalkan API OpenAI atau model besar lainnya untuk membangun chatbot, asisten virtual, atau agen layanan pelanggan. Kesalahan serupa dapat dengan mudah terjadi ketika timestamp, ID sesi, atau konteks dinamis lainnya disisipkan di depan blok sistem yang statis. Dampaknya bukan hanya pemborosan anggaran, tetapi juga penurunan performa karena latensi respons hampir doubled.
Untuk mencegah pemborosan, praktik terbaiknya sederhana: letakkan semua yang statis sebelum breakpoint, dan sisipkan data yang berubah‑ubah seperti waktu, ID sesi, atau pesan pengguna tepat setelah breakpoint. Selain itu, perlakukan cache-hit-rate sebagai metrik utama, bukan sekadar angka performa. Pantau kesamaan byte aktual dengan mendiff kan byte yang dikirim ke API antar panggilan untuk menemukan penyisipan atau pengurutan ulang yang tidak disengaja oleh lapisan middleware.
Ke depannya, SDK dan framework agent akan semakin pintar dalam mengelola cache, tetapi kewaspadaan manusia tetap menjadi benteng terakhir. Perusahaan yang mengabaikan detail ini berisiko membayar lebih untuk komputasi yang seharusnya murah, sementara kompetitor yang memantau metrik tersebut dapat mengoptimalkan biaya dan meningkatkan pengalaman pengguna.
Di Indonesia, di mana biaya komputasi masih menjadi tantangan besar bagi banyak pengembang AI, kesadaran akan trik tersembunyi ini dapat menghemat jutaan rupiah setiap bulan. Dengan menerapkan disiplin dalam penyusunan prompt dan memantau cache-hit-rate, ekosistem AI lokal dapat tumbuh lebih efisien dan kompetitif di kancah global.