Kontroversi Benchmark AI Pokémon: Gemini Google Dan Claude Anthropic Beda Langkah Karena Bantuan Minimaps

Kontroversi benchmarking AI muncul ketika sebuah postingan di X mengklaim bahwa model Gemini terbaru dari Google melampaui model unggulan Claude dari Anthropic dalam trilogi video game Pokémon asli. Namun, Gemini memiliki keuntungan dengan adanya minimap khusus yang membantu model mengidentifikasi 'tiles' dalam game. Hal ini mengurangi kebutuhan Gemini untuk menganalisis tangkapan layar sebelum membuat keputusan gameplay.Benchmark AI, termasuk Pokémon, adalah ukuran yang tidak sempurna. Implementasi khusus dan non-standar dapat memperkeruh hasil evaluasi model AI. Misalnya, Anthropic melaporkan dua skor untuk model Claude 3.7 Sonnet pada benchmark SWE-bench Verified, dengan perbedaan akurasi yang signifikan ketika menggunakan 'custom scaffold'.Meta juga menyempurnakan model Llama 4 Maverick untuk performa baik pada benchmark LM Arena, sementara versi vanilla dari model tersebut memiliki skor yang jauh lebih rendah pada evaluasi yang sama. Dengan demikian, perbandingan model AI menjadi semakin sulit karena adanya berbagai implementasi khusus yang mempengaruhi hasil benchmark.