Courtesy of SCMP
Ikhtisar 15 Detik
- Ant Group berhasil mengembangkan model bahasa besar dengan biaya yang lebih rendah.
- Penggunaan GPU lokal memungkinkan pengurangan ketergantungan pada chip canggih dari Nvidia.
- Teknik MoE memungkinkan pelatihan model yang lebih efisien pada perangkat dengan performa lebih rendah.
Ant Group, afiliasi fintech dari Alibaba, telah mengembangkan model bahasa besar (LLM) bernama Ling-Plus-Base yang dapat dilatih menggunakan GPU yang diproduksi secara lokal. Ini mengurangi ketergantungan pada chip canggih dari Nvidia dan menurunkan biaya pelatihan hingga 20%. Model ini memiliki 300 miliar parameter dan dapat dilatih dengan perangkat yang memiliki performa lebih rendah, tetapi tetap memberikan hasil yang sebanding dengan model-model lain yang lebih mahal.
Tim Ling dari Ant Group menjelaskan bahwa metode yang mereka gunakan, yaitu Mixture-of-Experts (MoE), memungkinkan mereka untuk membagi masalah menjadi bagian-bagian yang lebih kecil dan lebih mudah dipecahkan. Dengan cara ini, mereka dapat mengembangkan model AI yang lebih besar tanpa harus mengeluarkan biaya tinggi untuk perangkat keras yang canggih. Ini juga menunjukkan bahwa pelatihan model AI yang canggih bisa dilakukan dengan cara yang lebih fleksibel dan hemat biaya.
Pertanyaan Terkait
Q
Apa yang dilakukan Ant Group dalam pengembangan model bahasa besar?A
Ant Group mengembangkan model bahasa besar menggunakan GPU yang diproduksi secara lokal.Q
Apa keuntungan dari model Ling-Plus-Base yang dikembangkan oleh Ant Group?A
Keuntungan dari model Ling-Plus-Base adalah dapat dilatih pada perangkat dengan performa lebih rendah dan mengurangi biaya pelatihan sebesar 20%.Q
Mengapa Ant Group menghindari penggunaan chip Nvidia?A
Ant Group menghindari penggunaan chip Nvidia untuk mengurangi ketergantungan pada teknologi yang terpengaruh oleh kontrol ekspor AS.Q
Apa itu MoE dan bagaimana cara kerjanya?A
MoE atau Mixture-of-Experts adalah teknik yang membagi ruang masalah menjadi bagian-bagian homogen menggunakan beberapa jaringan spesialis.Q
Siapa saja pesaing Ant Group dalam pengembangan model bahasa besar?A
Pesaing Ant Group dalam pengembangan model bahasa besar termasuk DeepSeek dan ByteDance.