Persaingan Nvidia dan AMD di Pelatihan AI dengan Inovasi Precision 4-bit

Dunia AI saat ini tidak hanya fokus pada proses inferensi, tetapi pelatihan model AI juga sangat penting dan membutuhkan daya komputasi besar. Keduanya saling bertarung dalam hal performa dan efisiensi di pasar pelatihan AI yang semakin kompetitif. Nvidia dan AMD adalah dua pemain utama yang bersaing ketat, dengan beberapa pemain lain seperti Google dan Cerebras juga terlibat. Nvidia berhasil unggul dengan inovasi pada penggunaan floating point 4-bit (FP4) yang dapat menggandakan performa chip bila akurasi tetap terjaga. Mereka juga mengombinasikan hardware dengan perbaikan software dan jaringan untuk mendukung pelatihan model sangat besar di cluster dengan ribuan GPU, sehingga memberikan keunggulan signifikan dalam benchmark MLPerf. AMD sudah semakin mendekat ke performa Nvidia dan mendukung FP4 di generasi terbaru MI350, namun mereka masih ragu apakah pengurangan presisi ini benar-benar memberikan keuntungan yang besar secara keseluruhan. AMD lebih yakin untuk terus bersaing menggunakan presisi yang lebih tinggi untuk menjaga akurasi sekaligus mendapatkan keunggulan performa. Benchmark yang digunakan hanya mengukur sebagian kecil proses pelatihan dan bukan keseluruhan. Pelatihan model besar tetap membutuhkan waktu berminggu-minggu sampai bulan, menunjukkan bahwa kecepatan chip dan teknologi jaringan tetap menjadi faktor kunci dalam menurunkan durasi pelatihan AI. Dalam beberapa bulan ke depan, pengguna dan pengamat AI akan menantikan hasil benchmark terbaru, termasuk dari Google Ironwood, yang berpotensi memberi kejutan. Pertarungan teknologi fokus pada peningkatan performa melalui presisi rendah dan optimalisasi sistem akan menjadi perhatian utama di pasar pelatihan AI.