Seorang pengembang dengan nama pengguna Danau5tin merilis seluruh kode dan bobot model untuk sistem yang disebutnya sebagai "AI yang melatih AI". Inti dari proyek ini adalah agen kecerdasan buatan yang dilatih dengan reinforcement learning (RL) untuk kemudian menulis pekerjaan pelatihan bagi model-model berukuran kecil. Sistem tersebut beroperasi menggunakan dua lingkaran RL terpisah, masing-masing dengan tumpukan perangkat lunak yang berbeda.
Pada lingkaran luar, agen pelatih berbasis Qwen3.6-35B-A3B dengan adaptor LoRA dilatih menggunakan perangkat bernama Tinker. Agen ini bertugas menerima spesifikasi tugas, misalnya "ajarkan model kecil menyelesaikan query persona multi-hop", lalu menyusun lingkungan verifikasi, rubrik penilaian, dan konfigurasi prime-rl secara lengkap. Pekerjaan itu dikirim ke pool GPU Runpod untuk melatih model target seperti Qwen3-0.6B atau 1.7B. Skor evaluasi tersembunyi dari model dalam kemudian mengalir kembali sebagai sinyal reward bagi agen pelatih.
Selama 54 langkah pelatihan yang terbagi dalam tiga fase pilot, skor reward agen pelatih naik dari sekitar 0,0 hingga mencapai puncak 0,63. Peningkatan tersebut bukan sekadar angka teoretis. Proyek ini berhasil mentransfer keterampilan ke keluarga tugas yang sama sekali tidak dilatih sebelumnya, yaitu triage atau penetapan insiden teknis. Catatan retrospektif menunjukkan total biaya eksperimen berada di angka negatif 1.300 dolar AS, kemungkinan besar karena pemanfaatan kredit komputasi awan.
Latar belakang eksperimen ini berakar pada kendala tenaga ahli dalam merancang pipeline RL. Selama ini, penyusunan lingkungan pelatihan, fungsi reward, dan himpunan data membutuhkan intervensi manusia yang intensif. Dengan membiarkan agen menulis sendiri job pelatihan, Danau5tin ingin menguji batas otomasi. Ia mempublikasikan tidak hanya bobot LoRA di Hugging Face, tetapi juga harness agen, kode reward, orkestrasi GPU, dan laporan kegagalan setiap pilot.
Enam keluarga tugas sengaja dirancang agar model tanpa pelatihan kesulitan menyelesaikannya. Skor dasar model Qwen3-0.6B sebelum dilatih tercatat 0,742 untuk rantai kalkulasi bertingkat, 0,654 untuk pencarian persona multi-hop, 0,545 untuk transformasi string, 0,242 untuk pembukuan ledger, dan 0,323 untuk routing bersyarat. Satu keluarga, triage, sengaja disisihkan sebagai uji generalisasi. Keluarga-keluarga ini mewajibkan penggunaan alat multi-langkah dan penalaran, sehingga agen tidak bisa sekadar menghafal.
Bagi industri teknologi, pendekatan double RL loop membuka jalan menuju laboratorium AI yang hampir mandiri. Startup yang selama ini bergantung pada insinyur RL senior dapat memangkas biaya eksperimen. Di Indonesia, kelangkaan talenta machine learning tingkat lanjut dan mahalnya akses GPU awan menjadi penghambat utama adopsi model besar. Kehadiran sistem sumber terbuka seperti ini memberi kesempatan bagi komunitas lokal untuk menjalankan pelatihan tanpa harus mendesain ulang dari nol.
Belum ada produk dalam negeri yang menawarkan otomasi penyusunan job RL secara otonom dengan arsitektur serupa. Sejumlah pusat riset di universitas seperti ITB atau UI masih menggunakan pendekatan manual dalam eksperimen reinforcement learning. Namun, beberapa startup lokal mulai memanfaatkan model bahasa besar untuk membantu pipeline data. Ke depan, kolaborasi terbuka semacam proyek Danau5tin dapat menjadi katalis bagi ekosistem AI Tanah Air, asalkan infrastruktur komputasi mendukung.
Dampak langsung akan dirasakan oleh peneliti dan pengembang model bahasa yang ingin mempercepat iterasi. Alih-alih menghabiskan minggu untuk menyetel hyperparameter, mereka cukup mengawasi agen yang bekerja di sandbox. Di sisi lain, peran insinyur bergeser menjadi pengawas yang merumuskan batasan keras dan alat evaluasi. Hal ini sejalan dengan tren global di mana agen AI mengambil alih tugas-tugas rekayasa yang repetitif.
Dalam catatan pengembang, fase awal pelatihan menunjukkan pembelajaran yang bersifat prosesual. "Seluruh gain awal berasal dari konversi kegagalan validasi dan job mati menjadi episode lengkap," tulisnya dalam retrospektif pilot-7. Skor kualitas job sempat datar di angka rendah sementara total reward naik ke 0,26. Pembelajaran kedua baru terjadi pada pilot-7b, ketika agen mulai menghasilkan model yang benar-benar lebih baik, bukan sekadar job yang valid.
Nuansa menarik terdapat pada desain reward. Prompt yang diberikan kepada agen menyederhanakan pembagian bobot, namun reward sebenarnya dihitung dengan komposisi 0,35 untuk validasi, 0,60 untuk kualitas job, dan 0,05 untuk kecepatan. Adaptor yang dipublikasikan dilatih terhadap prompt simplifikasi tersebut. Hal ini mengingatkan bahwa keselarasan antara apa yang dipahami agen dan perhitungan sebenarnya tetap krusial dalam RL.
Proyeksi ke depan, Danau5tin menyebutkan rencana perbaikan infrastruktur dan perluasan keluarga tugas. Apabila sistem ini stabil, kita mungkin melihat rantai pelatihan berlapis menjadi rutinitas di laboratorium AI. Komunitas sumber terbuka diprediksi akan meramu varian agen pelatih dengan basis model lokal, misalnya terjemahan Qwen atau Phi yang di-host di server regional.
Bobot model dan skrip telah tersedia bagi siapa saja yang ingin mencoba. Bagi pembaca Indonesia, ini saatnya mengeksplorasi otomasi RL tanpa harus mengeluarkan biaya besar untuk lisensi proprietary. Langkah kecil seperti mereplikasi eksperimen di Runpod dengan kredit gratis dapat memicu minat riset yang lebih luas di tingkat kampus dan komunitas developer.