AI summary
ICMSP memungkinkan penyimpanan memori konteks yang lebih efisien untuk aplikasi AI. NVIDIA berkolaborasi dengan berbagai perusahaan untuk menyediakan solusi penyimpanan yang canggih. Permintaan untuk kapasitas memori dan penyimpanan akan meningkat secara signifikan di masa depan. Pada acara CES 2026, NVIDIA mengumumkan teknologi baru bernama Inference Context Memory Storage Platform (ICMSP) yang menggunakan kartu jaringan cerdas BlueField-4. Teknologi ini dirancang untuk menyimpan memori konteks pemrosesan AI dalam skala besar agar interaksi AI menjadi lebih personal dan efisien.Memori konteks adalah data yang dihasilkan selama interaksi AI dan berguna untuk membuat percakapan berikutnya lebih konsisten dan memahami pola kompleks. Dengan menyimpan konteks ini dalam storage khusus, beban perhitungan pada GPU bisa dikurangi dan konsumsi energi jadi lebih hemat.ICMSP menyimpan data memori konteks dalam bentuk key-value cache dengan kapasitas hingga 16TB per GPU dan bisa diakses dengan kecepatan sangat tinggi melalui BlueField-4 berkecepatan 800Gb/s. Sistem ini juga lebih fleksibel dalam hal kebutuhan keandalan dibanding penyimpanan tradisional karena data dapat diregenerasi.Beberapa perusahaan teknologi seperti VAST Data dan Micron turut berperan dalam mengembangkan penyimpanan berbasis ICMSP. VAST Data menonjol dengan metode erasure coding yang mengurangi overhead dan menggunakan teknik pengurangan data, sementara Micron mengembangkan SSD berkapasitas sangat besar yang mendukung kebutuhan penyimpanan konteks ini.Para pakar memperkirakan teknologi ini akan mendorong permintaan besar untuk penyimpanan DRAM dan NAND di pusat data AI, yang memungkinkan pengalaman inferensi AI lebih unggul dan efisien. Namun, hal ini juga menuntut inovasi lebih lanjut pada produksi dan pengelolaan memori agar tetap terjangkau dan ramah lingkungan.
Pengembangan ICMSP merupakan langkah maju yang sangat tepat untuk mengatasi tantangan scalability dan efisiensi inferensi AI yang selama ini menjadi kendala utama. Namun, konsekuensi dari peningkatan kebutuhan penyimpanan ini harus diantisipasi dengan inovasi teknologi memori lebih sustainable agar tidak menambah beban biaya dan konsumsi energi secara signifikan.
