Evaluasi AI yang Terintegrasi Tidak Selalu Jelas

Pengembang AI telah memasang reputasi mereka pada benchmarking model — sistem evaluasi yang dianggap netral dan akurat untuk mengukur apakah satu produk AI lebih baik dari yang lain. Namun, metode di balik evaluasi ini kompleks dan masih berkembang, kata Irene Solaiman, kepala kebijakan Hugging Face, dalam diskusi di TechCrunch Disrupt minggu lalu. Jika industri ingin bergantung pada evaluasi ini di masa depan, maka perlu ada ilmu pengetahuan yang lebih konsisten. Dengan demikian, apakah kita bisa percaya pada tes yang saat ini dirilis? "Percaya merupakan istilah yang berat," kata Solaiman. "Dalam hal apakah kita bisa percaya hasilnya, salah satu aspek besar [dari itu] adalah apakah Anda bisa mereproduksi hasil evaluasi? Apakah Anda memiliki akses yang cukup pada model itu sendiri — ini adalah tempat dimana berat model terbuka datang dalam skala besar," tambahnya. Reproduksibilitas dalam evaluasi model telah lama menjadi salah satu aspek yang paling sulit dalam benchmarking — dan masih menjadi topik perdebatan yang signifikan di industri. Di luar validitas individu tes, ada juga pertanyaan tambahan tentang bagaimana tes tersebut dibandingkan dengan evaluasi lainnya. "Mereka adalah ilmu pengetahuan yang berkembang — di mana kita tidak tahu bagaimana mengartikan perbandingannya dengan yang lain," kata Solaiman. "Mereka mulai menjadi tidak efektif secara relatif cepat, dan kita tidak memiliki ekosistem yang berkembang sebagaimana yang dibutuhkan," tambahnya. "Ada rasa lapar untuk ekosistem evaluator yang terintegrasi sekarang, tetapi kualifikasi yang menentukan siapa evaluator yang efektif di mana-mana perlu standarisasi yang lebih banyak." Konsep evaluator yang terintegrasi — di mana pengamat ketiga yang dianggap "netral" ditempatkan di dalam organisasi AI — telah populer selama beberapa bulan terakhir, ketika laboratorium AI berjuang dengan serangkaian insiden keamanan yang telah meningkatkan kekhawatiran atas potensi kerugian teknologi mereka. Hugging Face adalah salah satu laboratorium yang terkena insiden tersebut. Sebaliknya dari pengaturan pemerintah yang aktif untuk mengidentifikasi dan mengurangi kekhawatiran model keamanan, laboratorium telah mempromosikan solusi ketiga. Namun, keraguan tetap ada tentang bagaimana netral atau efektif evaluator tersebut akan sebenarnya. Keputusan Anthropic untuk merekrut Accenture sebagai evaluator pertamanya telah menyebabkan banyak kritik, dengan beberapa kritikus mengolok-olok konsep bahwa perusahaan konsultasi tersebut memiliki kualifikasi untuk melakukan tugas tersebut. Evaluasi saat ini telah bergerak dari hanya tes model itu sendiri ke tes seluruh sistem di sekitar model — termasuk penggunaan dan agen. Penggunaan — atau alat yang digunakan pengguna untuk mengakses model — memiliki peran besar dalam prestasi model, dan model yang lebih lemah dengan penggunaan yang lebih baik dapat dengan mudah mengalahkan model yang lebih maju. "Evaluasi agen sangat sulit dan mahal," kata Solaiman. "Kita memiliki evaluasi yang lebih banyak untuk model. … Kita tidak memiliki evaluasi yang lebih banyak untuk penggunaan, dan kita sedang mengembangkan evaluasi yang lebih baik untuk agen holistik — karena itu apa yang banyak orang dapatkan nilai dari," tambahnya. Dengan demikian, ruang evaluasi saat ini adalah sesuatu yang bebas di antara kita, dan jika benchmarking ingin terus dianggap sebagai alat yang berguna bagi pemimpin industri, maka mungkin perlu ada pendekatan yang lebih konsisten dan industri yang lebih luas — di mana semua orang berada di halaman yang sama. Jika industri ingin bergantung pada evaluasi ini di masa depan, maka perlu ada ilmu pengetahuan yang lebih konsisten. Dengan demikian, apakah kita bisa percaya pada tes yang saat ini dirilis? "Percaya merupakan istilah yang berat," kata Solaiman. "Dalam hal apakah kita bisa percaya hasilnya, salah satu aspek besar [dari itu] adalah apakah Anda bisa mereproduksi hasil evaluasi? Apakah Anda memiliki akses yang cukup pada model itu sendiri — ini adalah tempat dimana berat model terbuka datang dalam skala besar," tambahnya. Reproduksibilitas dalam evaluasi model telah lama menjadi salah satu aspek yang paling sulit dalam benchmarking — dan masih menjadi topik perdebatan yang signifikan di industri. Di luar validitas individu tes, ada juga pertanyaan tambahan tentang bagaimana tes tersebut dibandingkan dengan evaluasi lainnya. "Mereka adalah ilmu pengetahuan yang berkembang — di mana kita tidak tahu bagaimana mengartikan perbandingannya dengan yang lain," kata Solaiman. "Mereka mulai menjadi tidak efektif secara relatif cepat, dan kita tidak memiliki ekosistem yang berkembang sebagaimana yang dibutuhkan," tambahnya. "Ada rasa lapar untuk ekosistem evaluator yang terintegrasi sekarang, tetapi kualifikasi yang menentukan siapa evaluator yang efektif di mana-mana perlu standarisasi yang lebih banyak." Konsep evaluator yang terintegrasi — di mana pengamat ketiga yang dianggap "netral" ditempatkan di dalam organisasi AI — telah populer selama beberapa bulan terakhir, ketika laboratorium AI berjuang dengan serangkaian insiden keamanan yang telah meningkatkan kekhawatiran atas potensi kerugian teknologi mereka. Hugging Face adalah salah satu laboratorium yang terkena insiden tersebut. Sebaliknya dari pengaturan pemerintah yang aktif untuk mengidentifikasi dan mengurangi kekhawatiran model keamanan, laboratorium telah mempromosikan solusi ketiga. Namun, keraguan tetap ada tentang bagaimana netral atau efektif evaluator tersebut akan sebenarnya. Keputusan Anthropic untuk merekrut Accenture sebagai evaluator pertamanya telah menyebabkan banyak kritik, dengan beberapa kritikus mengolok-olok konsep bahwa perusahaan konsultasi tersebut memiliki kualifikasi untuk melakukan tugas tersebut. Evaluasi saat ini telah bergerak dari hanya tes model itu sendiri ke tes seluruh sistem di sekitar model — termasuk penggunaan dan agen. Penggunaan — atau alat yang digunakan pengguna untuk mengakses model — memiliki peran besar dalam prestasi model, dan model yang lebih lemah dengan penggunaan yang lebih baik dapat dengan mudah mengalahkan model yang lebih maju. "Evaluasi agen sangat sulit dan mahal," kata Solaiman. "Kita memiliki evaluasi yang lebih banyak untuk model. … Kita tidak memiliki evaluasi yang lebih banyak untuk penggunaan, dan kita sedang mengembangkan evaluasi yang lebih baik untuk agen holistik — karena itu apa yang banyak orang dapatkan nilai dari," tambahnya. Dengan demikian, ruang evaluasi saat ini adalah sesuatu yang bebas di antara kita, dan jika benchmarking ingin terus dianggap sebagai alat yang berguna bagi pemimpin industri, maka mungkin perlu ada pendekatan yang lebih konsisten dan industri yang lebih luas — di mana semua orang berada di halaman yang sama.