Meta Terjerat Skandal Skor Tinggi dengan Model AI Eksperimen yang Kurang Kompetitif

Meta mendapat kritik karena menggunakan versi eksperimental dari model Llama 4 Maverick untuk mencapai skor tinggi di benchmark LM Arena. Insiden ini membuat pengelola LM Arena meminta maaf dan mengubah kebijakan mereka. Model Maverick yang tidak dimodifikasi ternyata tidak kompetitif dibandingkan model lain yang sudah dirilis beberapa bulan sebelumnya. Meta menjelaskan bahwa model eksperimental mereka dioptimalkan untuk percakapan, yang ternyata cocok dengan cara penilaian di LM Arena. Namun, menyesuaikan model untuk benchmark bisa menyesatkan dan membuat sulit bagi pengembang untuk memprediksi kinerja model dalam konteks yang berbeda. LM Arena sendiri tidak selalu menjadi ukuran yang paling dapat diandalkan untuk kinerja model AI. Meta telah merilis versi open source dari Llama 4 dan menantikan umpan balik dari pengembang. Mereka berharap pengembang dapat menyesuaikan Llama 4 untuk berbagai kasus penggunaan mereka sendiri. Insiden ini menunjukkan pentingnya transparansi dan kejujuran dalam pengujian dan penilaian model AI.