TLDR
Qualcomm meluncurkan solusi AI inference baru yang efisien untuk data center. AI200 dan AI250 dirancang untuk mendukung pemodelan AI generatif dengan biaya kepemilikan yang lebih rendah. Inovasi di AI250 memungkinkan pemrosesan inferensi yang lebih efisien dan hemat energi. Qualcomm Technologies baru saja meluncurkan produk akselerator AI baru mereka yaitu AI200 dan AI250 yang didesain khusus untuk inferensi AI generatif. Produk ini menargetkan data center skala besar yang membutuhkan solusi dengan performa tinggi namun tetap hemat daya dan biaya operasional.AI200 adalah solusi berbasis kartu yang memiliki kapasitas memori LPDDR hingga 768 GB, memberikan kemampuan skala dan fleksibilitas tinggi dalam menangani permintaan inferensi model AI besar seperti model bahasa dan multimodal. Hal ini memungkinkan perusahaan dapat menjalankan AI secara lebih efisien.AI250 memperkenalkan teknologi near-memory computing yang meningkatkan bandwidth memori lebih dari 10 kali lipat serta mengurangi konsumsi daya secara signifikan. Teknologi ini memungkinkan penggunaan hardware yang lebih efisien dan performa yang tetap optimal atas beban kerja AI yang berat.Kedua solusi ini dirancang untuk integrasi di tingkat rack dengan sistem pendinginan cairan langsung dan konektivitas PCIe serta Ethernet, menunjang skalabilitas baik secara vertikal maupun horizontal, serta memastikan operasional yang stabil dan efisien dalam data center masa kini.Selain hardware yang canggih, Qualcomm juga menyediakan software stack yang lengkap, termasuk dukungan untuk berbagai framework AI populer dan fitur deployment model yang mudah. Hal ini memberikan kemudahan bagi pengembang dan perusahaan untuk mengadopsi dan mengelola AI generatif dengan lancar.
