TLDR
Ant Group telah merilis framework open-source baru bernama dInfer untuk model bahasa difusi. Model difusi menawarkan cara baru untuk menghasilkan teks secara lebih efisien dibandingkan model autoregresif. China berusaha mengejar ketertinggalan dalam teknologi AI dengan fokus pada pengembangan algoritma dan optimisasi perangkat lunak. Ant Group, bagian dari Alibaba, mengumumkan sebuah framework baru bernama dInfer yang dirancang khusus untuk mengeksekusi model bahasa difusi yang saat ini sedang berkembang pesat. Model bahasa difusi berbeda dari model lama yang digunakan oleh ChatGPT dan sejenisnya karena dapat menghasilkan hasil secara paralel, sehingga lebih cepat.Model bahasa tradisional yang disebut autoregresif menghasilkan teks satu per satu, mulai dari kiri ke kanan. Sementara model difusi bekerja dengan cara yang berbeda, memungkinkan proses yang lebih efisien dan cepat, terutama dalam aplikasi seperti penghasilan kode dan pembuatan gambar atau video.Dalam uji coba internal yang dilakukan Ant menggunakan model LLaDA-MoE, framework dInfer dapat menghasilkan hingga 1,011 token per detik, jauh lebih cepat dibandingkan vLLM yang mencapai 294 token per detik dan Fast-dLLM dari Nvidia hanya 91 token per detik. Angka ini menunjukkan keunggulan signifikan dari framework baru ini.Keberhasilan Ant dengan dInfer menandai upaya serius perusahaan teknologi besar di China untuk mengejar ketertinggalan dalam teknologi AI, khususnya dalam optimisasi software dan algoritma AI karena keterbatasan akses ke chip AI canggih yang diproduksi di luar negeri.Dengan meluncurkan framework sebagai open-source, Ant Group membuka kesempatan kolaborasi dan pengembangan lebih lanjut dari komunitas global. Hal ini juga menandai pergeseran penting dalam pengembangan AI di level dunia, memperkuat posisi China dalam arena teknologi mutakhir.
