Komunitas ilmu material dan pembelajaran mesin (ML) kini memiliki alat diagnostik baru untuk mengungkap praktik 'mencontek' tersembunyi dalam prediksi properti material. Peneliti merilis 'materials-confounding-check' (mcc), sebuah antarmuka baris perintah (CLI) open-source yang dirancang khusus untuk mendeteksi 'confounding bibliografis'—fenomena di mana model ML memprediksi properti material bukan dari struktur kimianya, melainkan dari metadata publikasi seperti nama penulis, jurnal, atau tahun terbit.
Masalah ini pertama kali disoroti secara sistematis dalam makalah 'Clever Materials' (Jablonka et al., 2026), yang menunjukkan pola kecurangan metadata ini bersifat sistematis di lima tugas nyata ilmu material. Model yang dilatih pada basis data seperti Battery Materials Database, MOFSimplify, atau basis data Perovskite ternyata sering kali belajar asosiasi spurious: misalnya, artikel dari grup penelitian tertentu yang diterbitkan di jurnal spesifik pada rentang tahun tertentu hampir selalu melaporkan material sebagai 'stabil'. Model kemudian menghafal pola administratif ini, bukan fisika kimia.
Alat mcc bekerja dengan menjalankan empat sub-tes falsifikasi yang ketat atas dataset yang berisi deskriptor kimia, metadata bibliografis, dan properti target. Tes pertama memeriksa apakah metadata bibliografis dapat diprediksi dari deskriptor kimia saja—jika ya, berarti ada kebocoran informasi. Tes kedua menguji apakah model yang hanya menggunakan metadata yang diprediksi mendekati performa model dengan deskriptor kimia penuh. Tes ketiga memvalidasi apakah performa model kolaps saat data dipisah berdasarkan grup penulis atau waktu, bukan acak. Keempat, sistem mengeluarkan veredikt risiko 'low', 'medium', atau 'high'.
Keunggulan metodologis mcc terletak pada kerangka statistik yang menghindari 'p-hacking' atau penyesuaian ambang batas manual. Alih-alih menggunakan margin tetap, inti statistiknya membangun distribusi nol dari N=100 permutasi metadata yang deterministik berbasis seed, dan memutuskan signifikansi berdasarkan persentil-95. Tes deteksi (AC-4) divalidasi menggunakan 'fixture' dengan confounding yang disuntikkan independen, memastikan veredikt tidak bias oleh aturan pengujinya sendiri. Stabilitas veredikt dibuktikan melalui 'sweep' empat seed berbeda.
Penggunaan alat ini sederhana: setelah instalasi via `pip install -e .`, pengguna menjalankan `mcc check --in dataset.csv --out reporte.json`. Opsi lanjutan mencakup `--seed` untuk determinisme, `--n-perm` untuk jumlah permutasi (default 100), `--group-by` (year|author), dan `--no-metadata-enrich` untuk mode offline. Laporan JSON mengembalikan keempat blok tes dan veredikt akhir, memudahkan integrasi ke pipeline CI/CD atau audit model.
Meskipun alat audit ML umum seperti Giskard menawarkan pemindaian kebocoran data tabular generik, pengembang mcc menegaskan bahwa scanner tabular Giskard v2 sudah tidak dipelihara aktif dan, yang lebih krusial, tidak menjalankan tes 'bibliographic fingerprint' spesifik domain ilmu material. Inilah celah yang diisi mcc: sebuah tes falsifikasi domain-spesifik yang memahami struktur insentif publikasi akademik dan bagaimana ia menciptakan korelasi palsu dalam data ilmiah.
Proyek ini berada di bawah lisensi AGPL-3.0-or-later, dikembangkan oleh Pedro Sordo Martínez, dan repositorinya tersedia di GitHub (amurlaniakea/materials-confounding-check). Suite pengujian menunjukkan 17 tes lulus (suite cepat) ditambah 'seed sweep' yang ditandai lambat, dengan kualitas kode bersih (ruff) dan cakupan tes ~88%. Referensi utama meliputi karya Jablonka et al. (2026) serta basis data referensi dari Huang & Cole (2020, 2024), Nandy et al. (2022), dan Shabih/Jacobsson (2021).
Bagi ekosistem riset Indonesia yang semakin adopsi AI untuk percepatan penemuan material—mulai dari bahan baterai, kerangka logam-organik (MOF), hingga perovskit—alat ini menjadi lapisan pertahanan kritis. Tanpa deteksi confounding bibliografis, riset berbasis ML berisiko menghasilkan model yang 'berhasil' di kertas tapi gagal di laboratorium, membuang anggaran dan waktu peneliti. Integrasi mcc ke alur kerja standar (misalnya sebelum publikasi atau deployment) dapat menjadi praktik terbaik baru untuk memastikan integritas ilmiah di era AI.