Pengembang independen baru-baru ini merilis apa yang disebut sebagai kernel pelatihan open-source berkinerja tinggi pertama di dunia untuk metode MiniMax Sparse Attention (MSA). Implementasi yang ditulis dalam CuTeDSL ini ditargetkan untuk GPU arsitektur Hopper dan Blackwell, secara spesifik NVIDIA H100 dan B200. Proyek yang diberi nama Flash-MSA tersebut tidak bersifat resmi dari MiniMax, melainkan hasil eksperimen yang dikembangkan menggunakan sewa komputasi Spheron H100 dan B200 serta referensi dari Flash-Attention 4 (FA4), inferensi MSA, dan Codex. Pencapaian ini penting karena selama ini banyak model frontier menggunakan attention sparse untuk mempercepat inferensi, namun belum ada kode pelatihan efisien yang dibagikan secara terbuka.
Sparse attention telah menjadi komponen kunci dalam sejumlah model kecerdasan buatan terkemuka, termasuk beberapa arsitektur yang dirilis oleh laboratorium riset global. Teknik ini memungkinkan model memperoleh konteks panjang dengan biaya komputasi yang jauh lebih rendah dibandingkan attention penuh. Namun, mayoritas implementasi yang beredar hanya mengoptimalkan tahap inferensi. Minimnya kernel pelatihan yang efisien menciptakan hambatan bagi komunitas untuk melatih sendiri model dengan jutaan token konteks, karena pelatihan attention penuh secara tradisional berkelanjutan kuadratik terhadap panjang urutan.
MSA sendiri merupakan evolusi dari konsep DeepSeek Sparse Attention (DSA) dengan beberapa modifikasi inti. Perubahan pertama adalah sparsity blok-wise. Alih-alih menggunakan proxy attention yang memilih token kunci-nilai (KV) individu untuk attention utama, MSA memilih dalam blok berukuran 128 melalui operasi max-pooling atas skor proxy. Pendekatan ini memberikan properti caching yang lebih bersahabat bagi kernel karena hanya indeks blok yang perlu disimpan, bukan token per token, sehingga memori dan bandwidth dapat dihemat.
Perubahan kedua yang krusial adalah penggunaan Grouped Query Attention (GQA) untuk attention utama, bukan Multi-head Latent Attention (MLA). Fakta bahwa laboratorium Barat belum mengadopsi MLA ke dalam alur pelatihan mereka membuat formulasi sparse attention pada model seperti GLM-5.2 dan DSv4, yang mengandalkan MLA, sulit diakses oleh ekosistem di luar pengembang aslinya. Dengan beralih ke GQA, MSA menjadi lebih kompatibel dengan infrastruktur pelatihan yang umum digunakan saat ini, sekaligus membuka jalan bagi adopsi sparse attention di berbagai model non-MLA.
Selain itu, MSA memperkenalkan spesialisasi proxy head secara group-wise. Mengganti MLA dengan GQA menghadirkan grup query independen di setiap layer, sehingga setiap proxy head dapat memilih subset KV yang berbeda alih-alih menjumlahkan dan menilai seluruh layer attention seperti pada DSA. Terdapat bukti bahwa head attention secara organik fokus pada token berbeda, sehingga variasi pemilihan ini diprediksi meningkatkan ekspresivitas attention utama dan kualitas representasi model.
Dari sisi desain kernel, efisiensi menjadi fokus utama. Urutan pelatihan meliputi proxy attention, dilanjutkan sparse main attention, lalu mengirimkan output ke layer berikutnya sambil menyimpan LSE (Log-Sum-Exp) untuk tahap backward. Pada proxy attention, tidak ada akumulasi output, tetapi diperlukan pelacakan skor top-k dan indeksnya saat streaming key. Pengembang menerapkan insertion sort pada register untuk mempertahankan nilai top-k per baris query, serta menetapkan skor lokal menjadi tak terhingga (inf) agar sliding window tetap terbuka.
Attention utama diimplementasikan sebagai block-sparse flash attention forward dengan memanfaatkan trik reparameterisasi varlen dari MoBA. Untuk backward, gradien proxy dan main attention difusikan karena sinyal pelatihan proxy membutuhkan probabilitas kedua attention sekaligus. Dengan indeks blok yang telah dicache, backward dapat berjalan linear. Salah satu inovasi matematis adalah penghitungan loss KL divergence secara atomik tanpa perlu materialisasi distribusi probabilitas penuh, sehingga mengurangi tulis-baca shared memory dan register tambahan yang dapat memperlambat pelatihan.
Ketersediaan Flash-MSA sebagai kode terbuka memberi dampak signifikan bagi komunitas riset, termasuk di Indonesia. Selama ini akses ke pelatihan model konteks sangat panjang terkendala biaya komputasi GPU yang mahal. Kernel yang dioptimalkan untuk H100 dan B200 memungkinkan laboratorium lokal atau startup untuk mencoba arsitektur sparse attention tanpa harus membangun kernel dari nol, mempercepat eksperimen dengan dataset lokal yang bersifat dokumen panjang atau multibahasa.
Meskipun implementasi ini bukan dari MiniMax dan masih bersifat eksperimental, kontribusinya menunjukkan bahwa ekosistem AI semakin terbuka. Ke depan, integrasi Flash-MSA ke dalam trainer populer dapat menjadi jembatan bagi demokratisasi pelatihan large language model (LLM) berskala jutaan token. Hal ini juga mendorong pengembang domestik untuk berkontribusi pada infrastruktur AI global, tidak sekadar menjadi konsumen model tertutup.