Anthropic, perusahaan pengembang kecerdasan buatan di balik Claude, menegaskan bahwa ekspansi sistem AI di level perusahaan tidak bisa hanya mengandalkan model yang semakin pintar. Dua eksekutifnya, Angela Jiang dan Katelyn Lesse, memaparkan bahwa fondasi teknis seperti arsitektur berlapis dan pengendalian token menjadi penentu keberhasilan.
Penjelasan tersebut menjadi catatan penting di tengah euforia organisasi yang berlomba menerapkan agen AI. Tanpa batas token yang disiplin dan eksekusi yang dapat diandalkan, sistem mudah menemui kendala saat beban kerja meningkat.
Latar belakang pernyataan ini muncul karena banyak perusahaan masih terjebak dalam ilusi bahwa memilih model terbesar atau termutakhir otomatis menyelesaikan masalah operasional. Kenyataannya, agen AI yang berjalan di lingkungan produksi menghadapi variasi tugas, integrasi data, dan permintaan simultan yang membebani komputasi.
Jiang dan Lesse menyoroti bahwa skalabilitas menuntut pembagian tugas ke dalam lapisan-lapisan spesifik. Misalnya, lapisan orkestrasi, lapisan model, dan lapisan tools harus dirancang terpisah agar kesalahan di satu bagian tidak meruntuhkan seluruh alur kerja.
Selain arsitektur, strategi token menjadi krusial. Setiap interaksi agen memakan token yang terbatas oleh anggaran komputasi. Penggunaan yang boros akan membuat biaya melonjak dan latensi membengkak, sehingga mustahil dipertahankan untuk operasi berskala besar.
Bagi ekosistem teknologi Indonesia, pengamatan ini relevan mengingat banyak startup lokal mulai menyematkan fitur AI ke dalam produk mereka. Perusahaan seperti Gojek dan Tokopedia telah menggunakan model bahasa untuk layanan pelanggan, namun sering kali tanpa governansi token yang matang.
Di sisi lain, talenta engineer di Tanah Air masih berfokus pada fine-tuning model daripada merancang sistem yang tangguh. Padahal, pengalaman pengguna akhir sangat ditentukan oleh keandalan eksekusi, bukan sekadar kelancaran percakapan dengan asisten virtual.
Tantangan tersebut diperparah oleh infrastruktur cloud yang belum merata. Perusahaan menengah di daerah mungkin kesulitan memenuhi kebutuhan latensi ketat jika harus bergantung pada server luar negeri. Oleh karena itu, pendekatan berlapis bisa membantu memangkas beban dengan memproses tugas sederhana di tingkat lokal.
Angela Jiang menekankan bahwa enterprise AI harus dipandang sebagai produk infrastruktur, bukan sekadar fitur. Ia mengingatkan bahwa eksekusi yang reliabel merupakan syarat mutlak sebelum organisasi berani menyerahkan proses bisnis kritis kepada agen otomatis.
Sejalan dengan itu, Katelyn Lesse menyatakan bahwa strategi token bukan sekadar penghematan, melainkan instrumen kendali kualitas. Pengalokasian yang tepat memastikan agen tidak menyimpang dari tujuan dan tetap efisien saat menangani ribuan permintaan sekaligus.
Ke depan, tren pengembangan AI perusahaan diprediksi bergeser dari kompetisi model ke arah optimasi sistem. Vendor teknologi akan lebih banyak menawarkan platform dengan manajemen token bawaan dan pemantauan arsitektur secara real-time.
Langkah selanjutnya bagi organisasi di Indonesia adalah melakukan audit kesiapan teknis. Tanpa penyiapan lapisan eksekusi dan batas token yang jelas, adopsi AI berisiko menjadi beban biaya bukan solusi produktivitas.