Artificial Intelligence

Mengoptimalkan Qwen2-VL pada AMD MI300X untuk Analisis Graf Blockchain

Ringkasan

  • Belakangan, seorang engineer melakukan fine-tuning Qwen2-VL di GPU AMD MI300X untuk mengklasifikasi graf transaksi blockchain via citra, mengungkap kendala ROCm yang luput dari dokumentasi.

Representasi teks dari transaksi blockchain seringkali kehilangan sinyal topologi yang krusial. Sebuah node pusat yang dikelilingi 47 dompet daun berumur pendek, misalnya, akan tampak hanya sebagai tabel alamat dan nominal jika dibaca sebagai urutan token. Padahal, saat dirender menjadi gambar, pola bintang tersebut langsung terlihat sebagai struktur visual yang khas.

Masalah inilah yang mendorong eksperimen penyetelan model Qwen2-VL pada akselerator AMD MI300X. Model visi-bahasa berbasis open-weight tersebut dilatih untuk mengklasifikasi graf transaksi blockchain langsung dari citra, bukan dari daftar teks mentah. Pendekatan ini memanfaatkan mekanisme Naive Dynamic Resolution milik Qwen2-VL yang memproses tile gambar pada resolusi asli, sehingga detail tepi tetap terjaga pada render 1024x1024 piksel atau lebih.

Secara akademis, jaringan neural graf (GNN) adalah alat paling tepat untuk klasifikasi graf. Namun, GNN menuntut dataset dengan skema tetap dan pipeline pelatihan yang terpisah dari tugas penalaran umum. Qwen2-VL menawarkan jalan praktis karena memiliki encoder visi yang mumpuni, bobot terbuka, serta dukungan fine-tuning melalui LLaMA-Factory dan ms-swift tanpa perlu membangun ulang loop pelatihan.

Varian 7B dan 72B dari Qwen2-VL tersedia sebagai open-weight, yang menjadikannya menarik bagi eksperimen mandiri. Kendati demikian, hampir seluruh panduan penyetelan di internet mengasumsikan ekosistem CUDA dari NVIDIA. Dokumentasi resmi LLaMA-Factory, ms-swift, hingga kartu model Qwen2-VL ditulis dengan asumsi pengguna memiliki GPU NVIDIA dan perintah nvidia-smi yang berfungsi.

AMD MI300X dengan memori HBM3 192GB merupakan permukaan komputasi ber-VRAM besar yang sah, tetapi operasionalnya berbeda. ROCm versi 6.x tertinggal dalam dukungan pustaka dibanding build CUDA, sementara flash attention harus dikompilasi ulang terhadap ROCm atau fallback ke xformers dengan risiko gesekan build sendiri. Variabel lingkungan yang diabaikan CUDA, seperti ROCR_VISIBLE_DEVICES dan HSA_OVERRIDE_GFX_VERSION, mendadak menjadi bagian krusial dalam skrip startup.

Bagi industri teknologi Indonesia, eksperimen ini membuka wawasan tentang alternatif perangkat keras untuk beban kerja AI berat. Selama ini, pengembang lokal sangat bergantung pada GPU NVIDIA karena ekosistem CUDA yang matang. Padahal, regulasi crypto di dalam negeri melalui Bappebti mewajibkan bursa aset kripto melakukan pelacakan transaksi, di mana forensik graf blockchain dapat membantu mendeteksi pola pencucian uang atau mixing.

Kapasitas memori 192GB pada MI300X mengubah asumsi tentang apa yang mungkin dilakukan dalam satu node. Fine-tuning parameter penuh untuk model 7B seperti Qwen2-VL berada nyaman di bawah 80GB termasuk status optimizer dan gradien. Artinya, pengembang tak perlu lagi merasionalisasi memori, melainkan fokus pada penjadwalan komputasi agar unit pemrosesan tetap terisi penuh.

Di Indonesia, akses ke MI300X mungkin masih terbatas pada layanan cloud tertentu, namun tren multi-vendor GPU akan mengurangi kunci vendor. Startup analitik blockchain lokal dapat mempertimbangkan pendekatan berbasis visi ini jika nanti infrastruktur ROCm lebih tersedia. Sebagian besar tim data di Jakarta atau Bandung masih menggunakan instance AWS dengan NVIDIA, sehingga kendala ROCm belum mereka rasakan.

Catatan pengembang asli menunjukkan bahwa gesekan ROCm bukan sekadar teori. Skrip pelatihan yang berjalan mulus di A100 dapat secara diam-diam jatuh ke operasi CPU pada MI300X karena dispatch kernel tak terselesaikan. Kegagalan ini tak terlihat jelas pada profil memori, sehingga membingungkan proses debug.

Untuk menghindari jebakan tersebut, ia merekomendasikan citra Docker resmi AMD, yaitu rocm/pytorch:rocm6.1_ubuntu22.04_py3.10_pytorch_2.1.2, sebagai basis lingkungan. Penambahan flag --ipc=host saat menjalankan kontainer terbukti kritis; tanpanya, inisialisasi DataLoader multi-worker akan menggantung tanpa pesan error, menyerupai stall pelatihan. ROCm 6.1 adalah versi minimal yang membuat jalur Flash Attention Qwen2-VL bekerja benar.

Ke depan, kematangan ROCm diproyeksikan membaik seiring investasi AMD pada perangkat lunak. Lebih banyak model visi-bahasa open-weight akan menyusul, dan dokumentasi komunitas bakal menyertakan contoh non-CUDA. Merintis tumpukan ROCm sejak kini berarti mempersiapkan diri jika harga GPU NVIDIA tetap tinggi dan kebutuhan memori melonjak.

Penggabungan forensik blockchain dengan model visi bukan lagi sekadar wacana akademis, melainkan workflow yang dapat dicoba secara nyata. Meski belum ada produk jadi, peta kendala yang diungkap memberikan panduan praktis bagi siapa pun yang hendak menapaki tumpukan perangkat keras serupa. Langkah berikutnya adalah mengukur throughput inferensi via vLLM pada ROCm untuk klasifikasi skala produksi.

Mengapa Ini Penting

Ketersediaan panduan ROCm yang jarang dalam bahasa Indonesia menciptakan hambatan baru bagi pengembang lokal yang ingin beralih dari CUDA, sehingga perlu ada inisiatif dokumentasi lokal. Jika startup forensik blockchain dalam negeri mengadopsi pendekatan berbasis visi ini, mereka dapat memenuhi standar FATF tentang pelacakan aset kripto dengan lebih efisien tanpa bergantung pada API berbayar. Di sisi lain, ketergantungan pada GPU NVIDIA yang mahal dapat dikurangi apabila penyedia cloud domestik mulai menawarkan instance AMD dengan ROCm matang, yang berpotensi menekan biaya eksperimen AI besar.

Sumber Asli
Dev.to
Tanggal
14 Juli 2026
Waktu Baca
5 menit