TLDR
Ada perbedaan signifikan antara klaim OpenAI dan hasil pengujian independen. Benchmark AI sering kali tidak dapat diandalkan dan perlu diteliti lebih lanjut. OpenAI berencana untuk merilis model o3 yang lebih kuat di masa depan. Terjadi perbedaan hasil benchmark antara hasil internal OpenAI dan hasil pihak ketiga untuk model AI o3, yang menimbulkan pertanyaan tentang transparansi dan praktik pengujian model perusahaan tersebut. OpenAI mengklaim bahwa model o3 dapat menjawab lebih dari seperempat pertanyaan di FrontierMath, sementara hasil dari Epoch AI menunjukkan skor sekitar 10%.Perbedaan ini mungkin disebabkan oleh pengaturan komputasi yang lebih kuat yang digunakan OpenAI atau perbedaan subset masalah yang diuji. Model o3 publik yang dirilis OpenAI juga berbeda dari versi yang diuji sebelumnya dan disesuaikan untuk penggunaan chat/produk.Kontroversi benchmarking AI semakin sering terjadi karena perusahaan berlomba untuk mendapatkan perhatian dengan model baru mereka. Kasus ini mengingatkan bahwa hasil benchmark AI sebaiknya tidak diterima begitu saja, terutama ketika sumbernya adalah perusahaan yang memiliki layanan untuk dijual.
