TLDR
Ant Group berhasil mengembangkan model bahasa besar dengan biaya yang lebih rendah. Penggunaan GPU lokal memungkinkan pengurangan ketergantungan pada chip canggih dari Nvidia. Teknik MoE memungkinkan pelatihan model yang lebih efisien pada perangkat dengan performa lebih rendah. Ant Group, afiliasi fintech dari Alibaba, telah mengembangkan model bahasa besar (LLM) bernama Ling-Plus-Base yang dapat dilatih menggunakan GPU yang diproduksi secara lokal. Ini mengurangi ketergantungan pada chip canggih dari Nvidia dan menurunkan biaya pelatihan hingga 20%. Model ini memiliki 300 miliar parameter dan dapat dilatih dengan perangkat yang memiliki performa lebih rendah, tetapi tetap memberikan hasil yang sebanding dengan model-model lain yang lebih mahal.Tim Ling dari Ant Group menjelaskan bahwa metode yang mereka gunakan, yaitu Mixture-of-Experts (MoE), memungkinkan mereka untuk membagi masalah menjadi bagian-bagian yang lebih kecil dan lebih mudah dipecahkan. Dengan cara ini, mereka dapat mengembangkan model AI yang lebih besar tanpa harus mengeluarkan biaya tinggi untuk perangkat keras yang canggih. Ini juga menunjukkan bahwa pelatihan model AI yang canggih bisa dilakukan dengan cara yang lebih fleksibel dan hemat biaya.
