AI summary
Nvidia tetap menjadi pemimpin dalam pelatihan AI dengan inovasi seperti FP4. AMD menunjukkan kemajuan yang signifikan dan menjadi pesaing serius di pasar GPU. MLCommons memainkan peran penting dalam menyediakan benchmark yang objektif untuk mengevaluasi performa AI. Dunia AI saat ini tidak hanya fokus pada proses inferensi, tetapi pelatihan model AI juga sangat penting dan membutuhkan daya komputasi besar. Keduanya saling bertarung dalam hal performa dan efisiensi di pasar pelatihan AI yang semakin kompetitif. Nvidia dan AMD adalah dua pemain utama yang bersaing ketat, dengan beberapa pemain lain seperti Google dan Cerebras juga terlibat.Nvidia berhasil unggul dengan inovasi pada penggunaan floating point 4-bit (FP4) yang dapat menggandakan performa chip bila akurasi tetap terjaga. Mereka juga mengombinasikan hardware dengan perbaikan software dan jaringan untuk mendukung pelatihan model sangat besar di cluster dengan ribuan GPU, sehingga memberikan keunggulan signifikan dalam benchmark MLPerf.AMD sudah semakin mendekat ke performa Nvidia dan mendukung FP4 di generasi terbaru MI350, namun mereka masih ragu apakah pengurangan presisi ini benar-benar memberikan keuntungan yang besar secara keseluruhan. AMD lebih yakin untuk terus bersaing menggunakan presisi yang lebih tinggi untuk menjaga akurasi sekaligus mendapatkan keunggulan performa.Benchmark yang digunakan hanya mengukur sebagian kecil proses pelatihan dan bukan keseluruhan. Pelatihan model besar tetap membutuhkan waktu berminggu-minggu sampai bulan, menunjukkan bahwa kecepatan chip dan teknologi jaringan tetap menjadi faktor kunci dalam menurunkan durasi pelatihan AI.Dalam beberapa bulan ke depan, pengguna dan pengamat AI akan menantikan hasil benchmark terbaru, termasuk dari Google Ironwood, yang berpotensi memberi kejutan. Pertarungan teknologi fokus pada peningkatan performa melalui presisi rendah dan optimalisasi sistem akan menjadi perhatian utama di pasar pelatihan AI.
Nvidia berhasil mempertahankan dominasinya dengan inovasi di FP4, yang jelas memberikan peningkatan performa besar dan menunjukkan integrasi hardware-software yang solid. AMD memang sudah sangat dekat, namun ketidakyakinannya pada presisi rendah menunjukkan bahwa akan ada perdebatan teknologi panjang, terutama soal akurasi versus kecepatan dalam pelatihan AI.
