Perusahaan pengembang kecerdasan buatan (AI) Anthropic melalui dua tokoh utamanya, Angela Jiang dan Katelyn Lesse, memaparkan pandangan teknis mengenai arah pengembangan AI di sektor korporasi. Fokus utama yang mereka angkat bukanlah tentang seberapa canggih sebuah model dasar, melainkan pentingnya arsitektur sistem yang terstruktur dan pengelolaan token yang ketat.
Skalabilitas AI di lingkungan perusahaan saat ini menghadapi tantangan nyata. Jiang dan Lesse menekankan bahwa keberhasilan penerapan agen AI (AI agents) bergantung pada kemampuan sistem untuk mengeksekusi tugas secara andal. Hal ini tidak bisa dicapai hanya dengan menyediakan model bahasa besar (LLM) terbaru, karena kompleksitas operasional membutuhkan strategi yang jauh lebih mendalam.
Latar belakang mengapa strategi token menjadi perbincangan krusial adalah melonjaknya biaya komputasi cloud. Ketika perusahaan mulai menggunakan AI untuk menangani alur kerja yang panjang, konsumsi token meningkat secara eksponensial. Tanpa batas anggaran token (token budget) yang disiplin, biaya operasional bisa membengkak melebihi nilai manfaat yang dihasilkan.
Model AI generatif memang terus berkembang dalam hal kemampuan penalaran. Namun, kemampuan tersebut sering kali diimbangi dengan kebutuhan konteks yang sangat besar. Jika sebuah sistem memaksa model utama untuk memproses seluruh data mentah, efisiensi akan anjlok. Arsitektur berlapis (layered architecture) hadir sebagai solusi untuk memecah tugas kompleks menjadi modul-modul kecil yang lebih mudah dikelola.
Pendekatan berlapis ini memungkinkan pengembang untuk menempatkan model yang lebih kecil dan murah pada tugas-tugas perantara. Sementara itu, model besar hanya dipanggil ketika dibutuhkan untuk penalaran tingkat tinggi. Metode ini menciptakan ekosistem di mana eksekusi AI berjalan secara terukur dan dapat diprediksi.
Bagi industri teknologi di Indonesia, wawasan dari Anthropic ini sangat relevan. Banyak perusahaan lokal, mulai dari startup fintech hingga e-commerce raksasa, sedang berlomba mengintegrasikan fitur AI. Kendala utama yang sering dikeluhkan adalah efisiensi biaya pemanggilan API dari penyedia model global.
Di sisi lain, ekosistem talenta engineer di Tanah Air perlu beradaptasi. Penerapan AI tidak lagi cukup hanya dengan memanggil satu endpoint API dan membuat prompt yang cerdas. Perusahaan seperti Nodeflux atau Goto yang mengembangkan solusi berbasis LLM harus mulai merancang infrastruktur internal yang memisahkan proses penalaran berat dengan tugas otomatisasi ringan.
Dampaknya bagi pengguna akhir di Indonesia adalah layanan AI yang lebih stabil dan responsif. Tanpa manajemen token yang ketat, aplikasi berbasis AI berisiko mengalami penurunan performa atau pembatasan fitur karena beban server. Strategi arsitektur yang tepat menjamin pengalaman pengguna tetap mulus meski volume permintaan meningkat tajam.
Jiang dan Lesse secara tegas menyatakan bahwa eksekusi yang andal (reliable execution) adalah tulang punggung operasional AI skala besar. Mereka berargumen bahwa mengandalkan model tunggal untuk menyelesaikan seluruh rantai masalah justru menciptakan kerentanan sistem yang fatal. Pendekatan lapisan memastikan setiap langkah dalam alur kerja AI dapat diaudit dan dioptimasi secara terpisah.
Perspektif tersebut sejalan dengan tren global di mana perusahaan teknologi mulai meninggalkan pendekatan 'satu model untuk semua'. Integrasi yang cerdas antara berbagai komponen sistem menjadi kunci untuk membangun agen AI yang benar-benar produktif di dunia nyata.
Ke depan, ekosistem pengembangan AI perusahaan diproyeksikan akan bergeser secara drastis. Fokus industri tidak lagi semata-mata pada 'prompt engineering', melainkan bergeser menuju 'system architecture engineering'. Pengembang di Indonesia perlu mulai membangun fondasi yang kokoh untuk mengelola batas token sejak tahap perancangan produk.
Tren ini juga akan mendorong lahirnya berbagai perangkat lunak manajemen token dan observabilitas AI yang lebih matang di pasar Asia Tenggara. Dengan strategi yang tepat, perusahaan dapat menekan biaya komputasi hingga sepersekiannya sambil mempertahankan kualitas output yang diharapkan dari teknologi kecerdasan buatan.