AI summary
MLCommons mengembangkan benchmark baru untuk meningkatkan performa aplikasi AI. Nvidia menunjukkan peningkatan signifikan dalam kecepatan server AI mereka. Benchmark baru ini bertujuan untuk mendekati waktu respons instan dalam aplikasi AI konsumen. MLCommons, sebuah kelompok yang fokus pada kecerdasan buatan (AI), baru saja meluncurkan dua benchmark baru untuk mengukur seberapa cepat perangkat keras dan perangkat lunak dapat menjalankan aplikasi AI. Sejak peluncuran ChatGPT oleh OpenAI dua tahun lalu, perusahaan chip mulai beralih untuk membuat perangkat keras yang lebih efisien dalam menjalankan kode AI. Benchmark baru ini dirancang untuk mengukur kecepatan sistem dalam menjawab pertanyaan dan menghasilkan kode.Salah satu benchmark baru ini didasarkan pada model AI Llama 3.1 yang dibuat oleh Meta, yang memiliki 405 miliar parameter. Benchmark ini menguji kemampuan sistem untuk memproses pertanyaan besar dan menggabungkan data dari berbagai sumber. Nvidia, salah satu perusahaan chip terkemuka, mengajukan beberapa chipnya untuk benchmark ini dan menunjukkan bahwa server AI terbaru mereka, yang disebut Grace Blackwell, jauh lebih cepat dibandingkan generasi sebelumnya.Benchmark kedua juga didasarkan pada model AI open-source dari Meta dan bertujuan untuk meniru kinerja aplikasi AI konsumen seperti ChatGPT. Tujuannya adalah untuk mempercepat waktu respons sehingga mendekati respons instan. Dengan pengembangan ini, diharapkan aplikasi AI dapat memberikan jawaban yang lebih cepat dan efisien kepada pengguna.
Kinerja server Nvidia yang meningkat drastis menunjukkan bahwa inovasi hardware adalah kunci untuk memenuhi kebutuhan aplikasi AI modern yang membutuhkan pemrosesan massive secara real-time. Namun, dominasi satu perusahaan seperti Nvidia juga bisa menyebabkan kurangnya diversifikasi kompetisi, berpotensi memperlambat inovasi jangka panjang dari pemain lain seperti AMD.
