
Sarvam, sebuah laboratorium AI dari India, baru saja meluncurkan generasi baru model bahasa besar yang dirancang untuk bahasa dan kebutuhan lokal India. Model baru ini jauh lebih besar dan lebih canggih dibandingkan versi sebelumnya yang memiliki 2 miliar parameter, sekarang meluncurkan model hingga 105 miliar parameter. Peluncuran ini diumumkan di India AI Impact Summit yang berlangsung di New Delhi, sejalan dengan komitmen pemerintah India untuk mengurangi ketergantungan pada teknologi asing.
Model terbaru Sarvam menggunakan arsitektur mixture-of-experts, yang berarti hanya sebagian kecil parameter yang aktif saat digunakan, sehingga menghemat biaya komputasi secara signifikan. Salah satu model berukuran 30 miliar parameter menyediakan konteks hingga 32.000 token, cocok untuk aplikasi percakapan waktu nyata, sedangkan model 105 miliar parameter dapat memahami konteks yang jauh lebih besar hingga 128.000 token untuk tugas kompleks.
Pelatihan model dilakukan dari awal dengan menggunakan triliunan token data teks yang mencakup berbagai bahasa India. Sarvam berfokus pada aplikasi praktis seperti asisten suara, sistem chat, dan pemrosesan dokumen, yang relevan untuk pasar India. Mereka mendapat dukungan infrastruktur dari Yotta dan teknologi dari Nvidia, serta bantuan dari program pemerintah IndiaAI Mission.
Sarvam juga berencana membuka sumber model 30 miliar dan 105 miliar parameter ini agar komunitas pengembang bisa menggunakannya. Selain itu, mereka sedang mengembangkan produk khusus seperti model AI untuk coding dan alat enterprise bernama Sarvam for Work, serta platform agen percakapan bernama Samvaad. Pendekatan mereka menekankan pengembangan berkelanjutan berdasarkan kebutuhan nyata dibandingkan hanya berlomba-lomba membuat model terbesar.
Dibentuk pada 2023, Sarvam telah mengumpulkan pendanaan lebih dari 50 juta dolar AS dari investor besar seperti Lightspeed Venture Partners, Khosla Ventures, dan Peak XV Partners. Langkah ini diharapkan dapat mendorong percepatan adopsi teknologi AI lokal dan mengurangi dominasi model AI besar dari Amerika Serikat dan Tiongkok di pasar India.