Startup RadixArk Dan VLLM Cepat Raih Investasi Besar Berkat Inovasi AI

Beberapa tim yang bertanggung jawab dalam pemeliharaan SGLang, alat open source populer yang membantu mempercepat pelatihan AI, kini telah beralih ke startup komersial bernama RadixArk. Startup ini berasal dari proyek yang dimulai di laboratorium UC Berkeley dan telah dinilai sekitar 400 juta dolar setelah pendanaan terbaru yang dipimpin oleh Accel.Ying Sheng, yang pernah bekerja di startup AI Elon Musk dan Databricks, menjadi salah satu pendiri dan CEO RadixArk. Startup ini fokus mengoptimalkan proses inferensi model AI, yang penting untuk menjalankan model lebih cepat dan efisien dengan biaya server yang lebih rendah.Proyek lain bernama vLLM juga mengalami hal serupa, berubah dari open source menjadi perusahaan komersial dengan potensi pendanaan mencapai 160 juta dolar yang dipimpin oleh Andreessen Horowitz. Keduanya dikembangkan di laboratorium Ion Stoica di UC Berkeley yang terkenal di bidang teknologi dan startup AI.RadixArk tetap melanjutkan pengembangan open source SGLang dan juga mengembangkan framework baru bernama Miles untuk pembelajaran penguatan (reinforcement learning). Meskipun sebagian alat masih gratis, RadixArk sudah mulai mengenakan biaya untuk layanan hostingnya, menunjukkan adanya pergeseran menuju model bisnis komersial.Pendanaan besar-besaran di startup penyedia infrastruktur inferensi AI, seperti Baseten dan Fireworks AI, menunjukkan betapa pentingnya lapisan inferensi ini dalam ekosistem AI yang terus berkembang dan mahal. Hal ini menegaskan bahwa efisiensi dalam menjalankan model AI menjadi fokus utama industri teknologi saat ini.