AI summary
Meta menghadapi kritik karena menggunakan versi eksperimen dari model AI untuk benchmark. Model Llama 4 yang tidak dimodifikasi tidak sekompetitif model lain yang lebih tua. Optimasi untuk benchmark dapat menyesatkan dan membuat sulit untuk memprediksi kinerja model di konteks lain. Meta mendapat kritik karena menggunakan versi eksperimental dari model Llama 4 Maverick untuk mencapai skor tinggi di benchmark LM Arena. Insiden ini membuat pengelola LM Arena meminta maaf dan mengubah kebijakan mereka. Model Maverick yang tidak dimodifikasi ternyata tidak kompetitif dibandingkan model lain yang sudah dirilis beberapa bulan sebelumnya.Meta menjelaskan bahwa model eksperimental mereka dioptimalkan untuk percakapan, yang ternyata cocok dengan cara penilaian di LM Arena. Namun, menyesuaikan model untuk benchmark bisa menyesatkan dan membuat sulit bagi pengembang untuk memprediksi kinerja model dalam konteks yang berbeda. LM Arena sendiri tidak selalu menjadi ukuran yang paling dapat diandalkan untuk kinerja model AI.Meta telah merilis versi open source dari Llama 4 dan menantikan umpan balik dari pengembang. Mereka berharap pengembang dapat menyesuaikan Llama 4 untuk berbagai kasus penggunaan mereka sendiri. Insiden ini menunjukkan pentingnya transparansi dan kejujuran dalam pengujian dan penilaian model AI.
Penggunaan versi eksperimen yang dioptimasi khusus demi pencitraan performa di benchmark adalah praktik yang merugikan ekosistem AI karena menciptakan ekspektasi palsu. Meta perlu lebih transparan dan fokus pada evaluasi yang realistis agar pengembang dan pengguna bisa mendapatkan gambaran yang benar tentang kemampuan model.
