Para peneliti pembelajaran mesin semakin menyadari bahwa jaringan saraf dalam konvensional, yang dilatih untuk menemukan satu set parameter optimal, memiliki keterbatasan fundamental dalam merepresentasikan ketidakpastian. Pendekatan standar menggunakan objektif maximum likelihood terregulasi cenderung menghasilkan model yang overconfident, bahkan ketika data pelatihan tidak mencakup sepenuhnya ruang masalah. Fenomena ini, yang dikenal sebagai underspecification, memungkinkan banyak fungsi berbeda dengan parameter yang berlainan untuk memasang data pelatihan dengan baik, namun menggeneralisasikan dengan cara yang sangat berbeda saat dihadapkan pada data baru.
Untuk mengatasi tantangan ini, paradigma Bayesian menawarkan kerangka kerja yang lebih prinsipil dengan memperlakukan parameter model sebagai variabel acak yang memiliki distribusi posterior. Alih-alih memilih satu titik estimasi, pendekatan ini menghitung distribusi prediktif posterior melalui rata-rata model Bayesian, yang secara efektif mengintegrasikan semua kemungkinan parameter yang konsisten dengan data yang diamati. Persamaan matematis intinya, p(y|x,D) = ∫ p(y|x,θ)p(θ|D)dθ, menunjukkan bagaimana prediksi dibangun dengan memperberat kontribusi setiap parameter sesuai dengan probabilitas posterior-nya, menciptakan representasi ketidakpastian yang kaya dan terkalibrasi.
Namun, penerapan inferensi Bayesian pada jaringan saraf dalam menghadapi dua hambatan teknis mayor: spesifikasi prior yang sesuai dan komputasi posterior yang efisien. Prior Gaussian terfaktorisasi, di mana bobot dan bias di setiap lapisan diambil dari distribusi normal nol-rata-rata, menjadi pilihan paling umum karena kesederhanaan matematisnya. Menariknya, pada batas lebar jaringan yang tak hingga, arsitektur MLP dengan prior Gaussian ini konvergen ke Proses Gaussian dengan kernel terdefinisi dengan baik, membuka koneksi teoritis mendalam antara jaringan saraf Bayesian dan metode kernel klasik yang memungkinkan pemodelan struktur kovarians non-stasioner.
Di antara berbagai metode aproksimasi, Monte Carlo Dropout (MCD) menonjol sebagai pendekatan yang sangat praktis dan telah banyak diadopsi industri. Dengan mengaktifkan dropout stokastik tidak hanya saat pelatihan tetapi juga saat inferensi, MCD menciptakan ansambel model implisit di mana setiap forward pass menghasilkan prediksi dari sub-jaringan yang berbeda. Meskipun memperkenalkan overhead komputasi pada waktu uji karena memerlukan K forward pass, teknik distilasi pengetahuan dapat mentransfer ketidakpastian yang ditangkap MCD ke jaringan siswa deterministik yang lebih cepat, menjadikannya layanan untuk deployment produksi skala besar.
Alternatif lain yang menarik adalah aproksimasi "Bayesian Last Layer", di mana hanya bobot lapisan output yang diperlakukan secara Bayesian sementara pengekstrak fitur (lapisan tersembunyi) tetap deterministik. Pendekatan ini memanfaatkan fakta bahwa fitur yang diekstrak oleh lapisan-lapisan awal seringkali sudah cukup representatif, sehingga inferensi posterior pada bobot akhir dapat dilakukan dengan teknik standar seperti Markov Chain Monte Carlo (MCMC). Hamiltonian Monte Carlo (HMC) dianggap standar emas untuk aproksimasi posterior karena tidak membuat asumsi kuat tentang bentuk posterior, meskipun keterbatasan akses ke seluruh dataset di setiap langkah mendorong pengembangan varian stokastik seperti Stochastic Gradient Langevin Dynamics (SGLD).
Variational Inference (VI), meskipun populer dalam pembelajaran mesin klasik, menghadapi tantangan serius pada jaringan saraf modern karena posterior yang sangat multi-modal. Parameter di modus yang berbeda dapat menghasilkan fungsi yang sangat berlainan, sedangkan aproksimasi lokal di sekitar satu modus cenderung meremehkan ketidakpastian dan menggeneralisasikan dengan lebih buruk. Inilah mengapa Deep Ensembles, yang melatih beberapa model independen dan menggabungkan prediksi mereka dengan bobot sama, muncul sebagai baseline yang kuat dan sering kali mengungguli metode Bayesian yang lebih kompleks dalam praktiknya,尽管其理论动机较弱。
Dari perspektif industri Indonesia, pemahaman mendalam tentang ketidakpastian model menjadi krusial seiring dengan adopsi AI di sektor-sektor berisiko tinggi seperti perbankan, kesehatan, dan sistem transportasi otonom. Bank Indonesia dan OJK semakin menegaskan perlunya explainability dan risk management dalam model AI, di mana kemampuan mengukur ketidakpastian prediksi secara kuantitatif bukan lagi opsional melainkan kebutuhan regulasi. Jaringan saraf Bayesian dan turunannya menawarkan pathway teknis untuk memenuhi persyaratan ini tanpa mengorbankan performa prediktif.
Ke depan, penelitian berfokus pada hybridisasi pendekatan: menggabungkan efisiensi komputasi MCD atau Deep Ensembles dengan garansi teoritis MCMC, serta pengembangan prior yang lebih informatif yang mengenkapsulasi pengetahuan domain spesifik. Bagi praktisi AI di Indonesia, investasi pada keahlian probabilistic deep learning akan menjadi diferensiasi kompetitif, memungkinkan pengembangan sistem AI yang tidak hanya akurat tetapi juga dapat dipercaya, transparan, dan selaras dengan kerangka regulasi yang berkembang.