Seorang peneliti independen bernama Benjamin Bai baru saja mempublikasikan hasil eksperimen ambisiusnya: melatih model dunia berbasis JEPA (Joint-Embedding Predictive Architecture) dari nol menggunakan Super Mario Bros sebagai lingkungan belajar. Model yang dinamai LeMario itu mampu mempelajari fisika permainan dan merespons input pengendali dengan akurat untuk prediksi lima langkah ke depan. Namun, saat diuji untuk menavigasi Mario menuju tujuan yang jauh di dalam level, model itu kian tersandung — tidak bisa melompat rintangan utama maupun menemukan jalur ke gambar target yang jauh.
Bai, yang juga menulis catatan teknis lengkap di blog pribadinya, mengakui bahwa hasil ini sekaligus mengejutkan dan mengecewakan. "Sebentar saja terlihat seperti model sudah belajar bermain," tulisnya. "Ternyata memprediksi permainan tidak sama dengan belajar cara maju di dalamnya." Perbedaan mendasar itu menjadi inti dari posmortem teknis yang ia terbitkan, mencakup arsitektur, data pelatihan, metrik evaluasi, hingga analisis kegagalan perencanaan jarak jauh.
Latar belakang proyek ini bermula dari minat Bai pada arsitektur JEPA yang dikembangkan Yann LeCun, Chief AI Scientist Meta. JEPA menawarkan pendekatan berbeda dari model generatif konvensional: alih-alih memprediksi piksel mentah, JEPA memprediksi representasi laten (embedding) dari observasi masa depan. Pendekatan ini diklaim lebih efisien dan tahan terhadap noise. Bai ingin memvalidasi klaim tersebut di lingkungan yang lebih kompleks dari Push-T — tugas robotik sederhana yang digunakan dalam paper asli LeWorldModel.
Super Mario Bros dipilih karena menawarkan dinamika fisika yang kaya: gravitasi, momentum, tabrakan, dan interaksi objek, semuanya dikendalikan oleh enam tombol sederhana (Kiri, Kanan, Atas, Bawah, A, B). Bai mengumpulkan 737.134 frame dari 280 episode permainan di 32 level berbeda. Setiap sampel pelatihan berisi empat frame yang dipisahkan oleh lima frame emulator, lengkap dengan urutan aksi pemain. Data ini menjadi bahan bagi encoder visi dan encoder aksi untuk memproduksi representasi laten 192-dimensi.
Arsitektur LeMario menggunakan enam blok transformer kausal sebagai prediktor. Inovasi kuncinya ada pada Adaptive LayerNorm Zero (AdaLN-Zero), yang memasukkan informasi aksi bukan dengan konkatenasi vektor, melainkan melalui tiga mekanisme kontrol: shift (offset bergantung aksi), scale (menguatkan/meredakan fitur tertentu), dan gate (mengatur seberapa kuat update transformer memengaruhi state). Mekanisme ini diterapkan terpisah pada cabang attention dan MLP, menghasilkan enam parameter kontrol per blok. Bobot awal di-set nol agar model belajar dari nol tanpa bias aksi acak.
Untuk mencegah representation collapse — di mana semua laten jadi identik sehingga prediksi jadi trivia — Bai menerapkan SIGReg1 sebagai regularisasi. Fungsi loss akhir menggabungkan MSE prediksi laten masa depan dengan bobot 0,1 untuk loss SIGReg. Selama pelatihan, loss prediksi menurun drastis, tapi Bai waspada: loss rendah saja tidak cukup membuktikan pemahaman dinamika, karena frame berdekatan sering mirip sehingga baseline "tidak ada perubahan" sudah cukup kuat.
Evaluasi pada episode held-out membuktikan LeMario benar-benar belajar. Kesalahan prediksi satu langkah LeMario 0,013773, unggul dibanding baseline persistensi (0,014472) dan aksi diacak (0,016555). Pada prediksi lima langkah rekursif, keunggulan semakin jelas: LeMario 0,077717, persistensi 0,142473, aksi diacak 0,114648. Pengacakan aksi menaikkan error satu langkah 20,2%, membuktikan model benar-benar menggunakan informasi kontrol, bukan sekadar menghafal pola visual.
Namun, saat Bai mencoba mengubah model jadi agen yang bisa bermain — menggunakan Cross-Entropy Method untuk mencari urutan aksi yang mendekatkan frame saat ini ke frame tujuan — keterbatasan muncul. Perencanaan bebas-reward (reward-free planning) berhasil memindahkan Mario ke tujuan berjarak dekat, akurasi dua hingga lima piksel. Tapi saat target dipindahkan jauh, melewati rintangan utama seperti lubang lubang atau pipa tinggi, Mario gagal total. Model tidak mampu menyusun rencana multi-langkah yang koheren untuk menavigasi geometri level yang kompleks.
Analisis Bai mengungkap akar masalah: JEPA dilatih dengan objective prediksi lokal (next-frame prediction), sedangkan perencanaan jarak jauh memerlukan pemahaman struktural tentang keterjangkauan (reachability) dan kausalitas temporal yang panjang. Model belajar "apa yang terjadi jika saya menekan tombol ini sekarang", tapi tidak belajar "bagaimana cara sampai ke sana dari sini". Ini mengingatkan pada kritik klasik terhadap model dunia murni prediktif: tanpa reward atau value function, tidak ada dorongan untuk belajar abstraksi yang berguna untuk navigasi.
Kegagalan ini justru memberikan wawasan berharga bagi penelitian model dunia (world models) generasi depan. Beberapa arah perbaikan sudah terlihat: menambahkan objective kontrastif untuk belajar representasi yang terstruktur secara hierarkis, mengintegrasikan value function atau reward shaping ke dalam pelatihan, atau menggunakan arsitektur yang mendukung penalaran temporal multi-skala. Bai sendiri berencana mengeksplorasi varian JEPA dengan horizon prediksi yang bervariasi dan mekanisme perencanaan hierarkis.
Bagi komunitas AI Indonesia, kasus LeMario mengingatkan bahwa benchmark standar seperti Atari atau Mario tetap relevan untuk menguji batas arsitektur baru. Peneliti lokal yang tertarik pada world models bisa memanfaatkan kode sumber terbuka yang dibagikan Bai untuk mereproduksi eksperimen, lalu memodifikasi objective function atau arsitektur prediktor. Kolaborasi antara grup riset universitas dan startup AI lokal bisa mempercepat iterasi ide-ide ini, mengingat kebutuhan komputasi yang relatif ringan dibanding LLM berskala besar.
Secara luas, hasil ini memperkuat narasi bahwa "memahami fisika" dan "mampu bertindak" adalah dua kemampuan berbeda. Model dunia yang hanya dilatih memprediksi observasi masa depan cenderung terjebak pada keterampilan reaktif, tidak proaktif. Bagi industri robotik dan game AI di Indonesia, ini berarti investasi pada model dunia harus disertai strategi perencanaan dan pembelajaran berbasis tujuan (goal-conditioned), bukan sekadar mengejar akurasi prediksi piksel atau laten.