Rangkuman berita: Apakah xAI berbohong tentang benchmark Grok 3?

Debat mengenai tolok ukur AI dan cara pelaporannya oleh laboratorium AI sedang menjadi perhatian publik. Baru-baru ini, seorang karyawan OpenAI menuduh perusahaan AI Elon Musk, xAI, mempublikasikan hasil tolok ukur yang menyesatkan untuk model AI terbarunya, Grok 3. xAI menunjukkan grafik yang menunjukkan bahwa Grok 3 mengalahkan model terbaik OpenAI, o3-mini-high, dalam ujian matematika AIME 2025. Namun, karyawan OpenAI menunjukkan bahwa grafik tersebut tidak mencantumkan skor o3-mini-high dengan metode "consensus@64", yang memberikan model 64 kesempatan untuk menjawab setiap soal dan mengambil jawaban yang paling sering muncul. Ini membuat seolah-olah Grok 3 lebih baik padahal sebenarnya tidak.

Igor Babushkin dari xAI membela perusahaan mereka dengan mengatakan bahwa OpenAI juga pernah mempublikasikan grafik yang menyesatkan. Sementara itu, seorang peneliti AI menunjukkan grafik yang lebih akurat dengan memperlihatkan kinerja hampir semua model menggunakan metode "consensus@64". Namun, ada satu hal penting yang masih belum jelas: biaya komputasi dan uang yang diperlukan untuk setiap model mencapai skor terbaiknya. Ini menunjukkan bahwa banyak tolok ukur AI tidak memberikan gambaran lengkap tentang kekuatan dan kelemahan model-model tersebut.

Rangkuman Berita: Apakah xAI berbohong tentang benchmark Grok 3?

Rangkuman Berita Serupa