TLDR
Huawei meluncurkan UCM untuk meningkatkan efisiensi model AI dengan memanfaatkan perangkat lunak. Inovasi perangkat lunak dapat membantu perusahaan China mengatasi keterbatasan akses terhadap perangkat keras canggih. Pasar HBM global semakin berkembang dan didominasi oleh beberapa perusahaan besar dari Korea Selatan dan Amerika Serikat. Huawei baru-baru ini meluncurkan sebuah alat perangkat lunak bernama Unified Cache Manager (UCM) yang bertujuan mempercepat proses inferensi dalam model kecerdasan buatan besar. Alat ini bisa mengalokasikan data dengan lebih efisien antara beberapa jenis memori dengan kecepatan dan latensi berbeda.Menurut wakil presiden Huawei, Zhou Yuefeng, penggunaan UCM selama pengujian berhasil mengurangi latensi inferensi hingga 90% dan meningkatkan throughput sistem hingga 22 kali lipat. Hal ini membuka peluang besar untuk optimalisasi performa AI tanpa memerlukan hardware berperingkat tinggi dan mahal.Inovasi perangkat lunak ini dilakukan karena akses ke chip memori HBM yang sangat cepat dan mahal sangat terbatas dan dikuasai oleh beberapa perusahaan besar asing. HBM sangat penting untuk kinerja AI, namun Huawei ingin mengurangi ketergantungan pada chip tersebut.Huawei berencana membuka akses sumber kode UCM di komunitas pengembang pada September mendatang dan kemudian bagi industri secara luas. Hal ini memperlihatkan komitmen mereka untuk mendorong pengembangan teknologi dalam negeri dan kolaborasi global.Pasar HBM diperkirakan akan terus tumbuh pesat seiring kemajuan AI. Dengan adanya alat seperti UCM yang juga mengandalkan memori lain seperti RAM standar dan SSD, perusahaan seperti Huawei dapat memperkuat posisi teknologi AI mereka tanpa hanya mengandalkan hardware impor yang mahal.
