Conner Lambden, pengembang di balik proyek Helium, memenuhi janjinya untuk menilai akurasi prediksi probabilitas in-the-money (prob_itm) yang dipublikasikan modelnya sejak Mei lalu. Dua kontrak opsi Apple dengan tanggal kedaluwarsa 26 Juni 2026 menjadi bahan uji: call $310 dan put $295. Hasil penilaian menggunakan skor Brier menunjukkan rata-rata kerugian 0,3846 — angka yang jauh di atas skor 0,25 yang dicapai oleh tebakan acak konstan 0,5.
Ketiga, penilaian ini bukan sekadar latihan akademis. Lambden membekukan prediksi model pada Mei, lalu membandingkannya dengan realita pasar saat kontrak kedaluwarsa. Harga penutupan Apple di NASDAQ pada 26 Juni 2026 tercatat $283,78. Call $310 berakhir out-of-the-money (realized ITM = 0), sedangkan put $295 berakhir in-the-the-money (realized ITM = 1). Prediksi model untuk call sebesar 0,42 menghasilkan skor Brier 0,1764, sementara prediksi put 0,23 menghasilkan skor 0,5929 — angka yang Lambden sebut "memalukan".
Latar belakang eksperimen ini bermula dari keputusannya untuk mempublikasikan prediksi probabilitas dengan tanggal kedaluwarsa pasti, bukan hanya backtest historis. Lambden menuliskan kode penilaian secara terbuka di repositori GitHub helium-mcp-cookbook, memungkinkan siapa pun mereproduksi perhitungan. File input beku calibration/june_2026_forecasts.json menyimpan prediksi asli agar tidak bisa dimanipulasi pasca-fakta.
Pendekatan ini menantang kebiasaan industri teknologi keuangan yang sering menampilkan hanya hasil backtest menguntungkan atau tangkapan layar keuntungan hijau. Lambden menegaskan bahwa menerbitkan prob_itm dengan kedaluwarsa tetap merupakan disiplin kecil, dan menilainya setelah fakta adalah separuh kedua dari disiplin tersebut. Ia berencana menambah baris data pada setiap kedaluwarsa mendatang.
Dalam konteks Indonesia, praktik transparansi semacam ini relevan seiring meningkatnya minat ritel pada perdagangan opsi dan derivatif. Bursa Efek Indonesia (BEI) telah meluncurkan produk opsi saham sejak 2021, dan platform perdagangan digital mulai menawarkan akses ke instrumen ini. Namun, banyak pelaku pasar lokal mengandalkan sinyal teknikal atau "tips" media sosial tanpa verifikasi akurasi historis. Metode skor Brier menawarkan kerangka kuantitatif untuk membandingkan prediksi probabilistik — baik dari model ML, analis manusia, maupun implied volatility pasar.
Skor Brier itu sendiri mengukur akurasi prediksi probabilistik dengan rumbuh rata-rata kuadrat selisih antara probabilitas diprediksi dan hasil biner (0 atau 1). Skor sempurna adalah 0, sedangkan tebakan acak 0,5 secara konsisten menghasilkan 0,25 pada kejadian biner. Faktanya model Helium skor 0,3846 berarti prediksinya sistematis meleset — bukan sekadar noise acak.
Perbandingan dengan implied volatility pasar menambah lapisan analisis. Untuk call $310, pasar mengimpliedkan probabilitas ~0,50, sedangkan model Helium 0,42 — lebih dekat pada realitas 0. Namun untuk put $295, kedua model dan pasar (~0,24) drastis merendahkan risiko ITM dibanding realitas 1. Koreksi harga Apple yang tajam menjelang kedaluwarsa mengejutkan kedua belah pihak.
Lambden mengakui ukuran sampel n=2 jauh dari cukup untuk kesimpulan statistik. "Ini janji yang ditepati, bukan makalah kalibrasi," tulisnya. Ia mengundang praktisi lain mencatat prediksi sendiri menggunakan resep 02 di cookbook-nya, lalu menilai saat kontrak kedaluwarsa. Filosofi "taruh angka di tempat orang bisa menilainya" juga diterapkan pada proyek lain: korpus framing berita 212×37 dengan penjelajah interaktif.
Bagi ekosistem fintech Indonesia, kasus ini menggarisbawahi pentingnya auditabilitas model. Otoritas Jasa Keuangan (OJK) semakin menekankan governance algoritma di layanan keuangan digital. Menerbitkan metrik evaluasi jujur — termasuk kegagalan — membangun kepercayaan lebih dari sekadar klaim akurasi tinggi tanpa bukti. Beberapa startup lokal telah mulai mengadopsi model explainable AI, namun budaya "publikasikan skor buruk" masih jarang.
Ke depan, Lambden berkomitmen menambahkan data setiap siklus kedaluwarsa. Jika akumulasi sampel mencapai jumlah signifikan, pola kesalahan sistematis model bisa diidentifikasi dan diperbaiki. Pendekatan iteratif ini mirip siklus pengembangan model di ilmu data enterprise: deploy, monitor, evaluate, retrain. Perbedaan kunci: evaluasi dilakukan di domain publik, bukan tertutup di laboratorium internal.
Bagi pengembang dan peneliti ML Indonesia, repositori Helium menyediakan template praktis untuk membangun pipeline evaluasi sendiri. Kode Python grade_june_expiry.py menunjukkan alur lengkap: muat prediksi beku, ambil data harga aktual, hitung realized ITM, terapkan rumus Brier. Modularitasnya memungkinkan adaptasi untuk aset lain — termasuk opsi di BEI atau kripto derivatif.
Pada tingkat yang lebih luas, eksperimen ini mengingatkan bahwa model probabilistik bukan bola kristal. Bahkan prediksi yang "dekat" dengan implied volatility pasar bisa gagal total saat regime pasar berubah. Humilitas epistemik — mengakui ketidaktahuan dan mengukurnya — justru ciri matangnya ilmu data terapan. Di era di mana AI generatif sering dijual sebagai solusi pasti, tindakan Lambden mempublikasikan kegagalan sendiri layak jadi teladan.