Seorang pengembang yang menulis di platform Dev.to membagikan pengalaman pribadinya yang mengejutkan banyak praktisi AI: tagihan bulanan yang awalnya mencapai ratusan dolar berhasil ditekan hingga 95 persen tanpa mengorbankan kualitas jawaban. Kunci utamanya sederhana — menghentikan kebiasaan menggunakan model paling mahal untuk setiap tugas, sekecil apapun itu.
Penulis mengaku sempat menggunakan GPT-4o untuk segalanya, mulai dari obrolan biasa, klasifikasi teks, hingga ringkasan dokumen. Model itu memang handal, namun harganya $10 per juta token. Setelah memetakan beban kerja nyata, ia menemukan hanya sekitar 5 persen permintaan yang benar-benar memerlukan kemampuan penalaran tingkat tinggi. Sisanya, 95 persen, hanyalah tugas-tugas ringan yang bisa ditangani model jauh lebih murah.
Perbandingan harga yang ia buat mengejutkan. Untuk obrolan umum, DeepSeek V4 Flash menagih $0,25 per juta token — turunan 97,5 persen dari GPT-4o. Klasifikasi teks yang dulunya pakai GPT-4o-mini $0,60 per juta token, kini beralih ke Qwen3-8B yang hanya $0,01 per juta token, hemat 98,3 persen. Generasi kode beralih ke DeepSeek Coder $0,25 per juta token, ringkasan ke Qwen3-32B $0,28 per juta token, dan terjemahan ke Qwen-MT-Turbo $0,30 per juta token. Semuanya di atas 97 persen penghematan.
Ia membangun sistem pemilihan model otomatis yang mengklasifikasikan kompleksitas permintaan pengguna lalu mengarahkannya ke model paling sesuai. Fungsi `classify_complexity` menjadi jantung sistem ini — bisa dibangun dengan klasifikasi berbasis kata kunci, model kecil terpisah, atau bahkan panggilan LLM murah. Hasilnya, tidak ada lagi Ferrari yang dikirim beli susu ke warung sebelah.
Langkah berikutnya adalah menerapkan routing bertingkat tiga lapis. Sistem mencoba model termurah dulu. Jika jawaban lolos ambang kualitas — misalnya skor 0,8 dari 1,0 — jawaban itu dikirim. Jika tidak, naik ke model menengah. Hanya kasus paling sulit yang sampai ke model premium. Pola ini menangani 80 persen permintaan di lapisan termurah, 15 persen di menengah, dan hanya 5 persen yang mencapai model mahal.
Bukti nyata datang dari proyek chatbot layanan pelanggan yang ia bantu. Tagihan bulanan $420 anjlok menjadi $28 setelah Qwen3-8B mengambil alih 85 persen pertanyaan di lapisan paling murah. Pengalaman pengguna dan kualitas jawaban tetap sama, hanya arsitektur di belakang layar yang berubah.
Strategi ketiga adalah caching agresif. Pertanyaan berulang seperti jam operasional atau ringkasan FAQ tidak perlu dikirim ke API setiap kali. Ia memasang cache berbasis kunci MD5 dalam waktu kurang dari dua menit dan langsung melihat *hit rate* 50 hingga 80 persen pada kueri umum. Setiap *cache hit* berarti nol biaya token.
Kompresi *prompt* menjadi senjata keempat. Dengan mengirimkan instruksi yang lebih ringkas namun tetap jelas, jumlah token input berkurang signifikan. Ia juga mengimplementasikan *batching* untuk permintaan non-real-time, menggabungkan beberapa tugas ke dalam satu panggilan API dan memanfaatkan diskon *batch* yang ditawarkan penyedia layanan.
Di Indonesia, di mana startup dan pengembang individu sering terbatas anggaran, pendekatan ini sangat relevan. Banyak tim lokal yang masih mengandalkan model tertutup termahal untuk prototipe atau produk awal. Ketersediaan model terbuka seperti DeepSeek dan seri Qwen melalui penyedia API global — termasuk yang memiliki server di Asia — membuat migrasi ini teknisnya mudah. Beberapa platform cloud Indonesia pun mulai menawarkan *hosting* model terbuka ini secara lokal, menurunkan latensi dan biaya *egress*.
Tren industri juga mendukung pergeseran ini. Harga token model terbuka terus turun seiring persaingan, sementara model tertutup premium mempertahankan harga tinggi. Pakar infrastruktur AI memprediksi arsitektur *model routing* dan *cascade* akan menjadi standar *best practice* dalam dua tahun ke depan, mirip seperti *load balancing* menjadi standar di era *web* awal.
Bagi pengembang Indonesia yang ingin memulai, langkah pertama adalah audit penggunaan: catat setiap panggilan API, tugasnya, dan model yang dipakai. Dari sana, bangun peta tugas-ke-model. Jangan takut bereksperimen dengan model terbuka — banyak yang sudah siap produksi dan didukung komunitas besar. Biaya belajar di awal akan dikembalikan lipat ganda di setiap tagihan bulanan selanjutnya.