AI summary
Benchmark AI saat ini sering kali tidak mencerminkan kemampuan praktis model. Ada kebutuhan mendesak untuk pengujian independen dan benchmark yang lebih baik dalam industri AI. Startup baru seperti Thinking Machines Lab berusaha untuk membuat AI lebih sesuai dengan kebutuhan pengguna. Minggu ini, Elon Musk meluncurkan model AI terbaru dari perusahaannya, xAI, yang bernama Grok 3. Model ini diklaim lebih baik daripada beberapa model AI terkemuka lainnya dalam hal matematika dan pemrograman. Namun, banyak ahli berpendapat bahwa hasil pengujian yang digunakan untuk menilai model AI sering kali tidak mencerminkan kemampuan sebenarnya dalam tugas-tugas yang penting bagi pengguna. Mereka meminta adanya pengujian yang lebih baik dan independen untuk menilai kinerja AI.Selain itu, OpenAI mengubah pendekatan pengembangan AI-nya untuk lebih mendukung "kebebasan intelektual," dan ada juga startup baru bernama Thinking Machines Lab yang didirikan oleh mantan CTO OpenAI, Mira Murati. Meta juga akan mengadakan konferensi pengembang pertama yang fokus pada AI generatif, bernama LlamaCon, pada bulan April mendatang. Di sisi lain, sebuah perusahaan AI dari Tiongkok, Stepfun, meluncurkan model AI yang dapat memahami dan menghasilkan suara dalam beberapa bahasa, termasuk bahasa Mandarin, Inggris, dan Jepang.
Benchmark AI saat ini masih terlalu bergantung pada angka-angka yang mudah dimanipulasi oleh perusahaan, sehingga tidak memberikan gambaran nyata tentang kapabilitas model dalam konteks sehari-hari. Untuk kemajuan AI yang benar-benar bermanfaat, kita harus mendorong pengujian yang transparan dan relevan dengan kebutuhan pengguna nyata, bukan hanya angka-angka statistik.
