Peneliti reinforcement learning (RL) semakin bergantung pada sistem multi-agent untuk mengatasi tantangan dunia nyata yang kompleks. Dalam sebuah pengaturan kooperatif kecil yang baru‑baru ini dilakukan, delapan agen belajar bekerja sama di peta grid 100×100 untuk mengumpulkan sumber daya, menghindari rintangan, dan mencapai tiga tujuan yang tersebar. Setiap agen hanya melihat jendela egomorfik 11×11 — sekitar 1% dari total peta — sehingga sebagian besar waktu target berada完全 di luar jendela pengamatan. Kondisi pengamatan parsial ini, yang paling literal, membuat kebijakan hampir tidak memiliki sinyal tentang arah yang benar.
Untuk mengatasi hal ini, peneliti menggunakan "sinyal tujuan" yang murah: proyeksi arah ke tujuan yang belum tercapai ke tepi jendela pengamatan, seperti panah "pergi ke sini” yang selalu ada di saluran tujuan. Meskipun hanya terdiri dari beberapa baris kode, sinyal ini mengubah target yang tidak teramati menjadi gradien arah yang dapat dipanjat oleh kebijakan. Ablasi yang dilakukan oleh peneliti — melatih dengan sinyal dan tanpa sinyal, dengan semua hyperparameter tetap sama — menunjukkan perbedaan yang mencolok. Dengan sinyal, MAPPO mencapai tingkat keberhasilan 99,5%, tingkat pencapaian 0,998, dan kembali ke wilayah positif dalam sekitar 43 langkah dari 200 langkah yang dialokasikan, konsisten di seluruh empat benih. Tanpa sinyal, tingkat keberhasilan anjlok ke 0%, tingkat pencapaian hanya 0,105 (tidak berbeda secara statistik dari kebijakan acak), dan kurva pembelajaran tetap negatif, menunjukkan bahwa agen tidak belajar sama sekali.
Pengaturan eksperimen ini menggunakan MAPPO standar: aktor bersama, kritikus terpusat, keuntungan per agen, dan mekanisme PPO biasa. Lingkungan ini mencakup sumber daya yang dapat dikumpulkan, rintangan yang harus dihindari, dan tata letak tujuan yang acak. Jendela pengamatan setiap agen dibatasi pada 11×11 piksel yang berpusat pada dirinya sendiri, sehingga sebagian besar waktu tidak ada tujuan di dalamnya. Sinyal tujuan digambar ke saluran tambahan, memberikan arah yang jelas bahkan ketika target berada di luar jendela. Ablasi dijaga dengan ketat: satu-satunya perbedaan adalah flag beacon=True/False yang membungkus blok gambar sinyal. Arsitektur, hyperparameter (LR 1e‑3, γ 0,99, GAE‑λ 0,95, clip 0,2, entropy 0,005), 250 pembaruan pelatihan, 64 lingkungan paralel, dan protokol evaluasi tetap sama untuk setiap benih.
Hasilnya jelas: sinyal bukan sekadar penguat hadiah, tetapi merupakan satu‑satunya informasi konsisten tentang arah yang benar dalam tugas yang teramati sebagian. Tanpa sinyal, saluran tujuan hampir kosong (aktivasi ~1,0 dibandingkan ~490,0 dengan sinyal), dan kebijakan tidak memiliki apa pun untuk dipelajari. Para peneliti berpendapat bahwa dalam tugas RL yang teramati sebagian, kualitas input pengamatan dapat lebih penting daripada kehalusan algoritma. Pengoptimalan klip PPO atau arsitektur kritikus tidak akan membantu jika piksel yang terlihat tidak mengandung jawaban. Satu fitur yang dipilih dengan baik — arah ke tujuan — mengubah kebijakan dari tidak dapat menyelesaikan peta sama sekali menjadi menyelesaikan peta 99,5% dari waktu.
Implikasi dari temuan ini melampaui pengaturan mainan. Bagi komunitas AI di Indonesia, yang semakin fokus pada robotika otonom, sistem multi-agent cerdas, dan solusi berbasis RL untuk masalah logistik dan transportasi, temuan ini menekankan pentingnya desain pengamatan yang cermat. Ketika mengembangkan sistem RL untuk skenario dunia nyata — seperti drone yang bekerja sama, kendaraan otonom, atau robot pabrik — desainer harus memastikan bahwa sinyal arah yang penting tersedia dalam pengamatan, atau pembelajaran akan gagal. Penelitian ini juga menyoroti nilai ablasinya: dengan membandingkan kondisi yang terkendali, peneliti dapat mengisolasi dampak satu komponen, sebuah praktik yang harus diadopsi oleh tim RL lokal untuk menghindari tuning yang sia-sia.
Secara keseluruhan, penelitian ini menunjukkan bahwa bahkan perubahan kecil dan murah dalam desain fitur dapat menjadi faktor penentu antara kesuksesan dan kegagalan dalam RL multi-agent. Bagi praktisi di Indonesia yang bekerja di bidang AI, ini adalah pengingat bahwa mengoptimalkan hyperparameter tanpa mempertimbangkan input sensor mungkin tidak berguna. Ke depan, para peneliti dapat mengeksplorasi sinyal tujuan yang lebih kaya, integrasi peta dunia, atau umpan balik hierarkis untuk meningkatkan pembelajaran dalam lingkungan yang sangat teramati sebagian, sehingga mendorong kemajuan dalam aplikasi RL lokal yang praktis.