Courtesy of SCMP

Alibaba Perkenalkan Aegaeon, Hemat 82% GPU untuk Layanan AI Besar

Mengurangi penggunaan GPU secara drastis dalam melayani banyak model bahasa besar (LLM) secara bersamaan untuk meningkatkan efisiensi sumber daya dan menekan biaya operasional layanan kecerdasan buatan.

18 Okt 2025, 10.00 WIB

273 dibaca

Ikhtisar 15 Detik

Sistem Aegaeon dapat mengurangi jumlah GPU yang dibutuhkan secara signifikan untuk model AI.
Efisiensi dalam penggunaan sumber daya GPU sangat penting untuk layanan AI yang melayani banyak model sekaligus.
Kolaborasi antara Alibaba Cloud dan Peking University menunjukkan kemajuan dalam teknologi komputasi dan penghematan biaya.

Seoul, Korea Selatan - Alibaba Group Holding telah memperkenalkan sebuah sistem baru bernama Aegaeon yang mampu menghemat penggunaan GPU untuk layanan model bahasa besar secara signifikan. Sistem ini dapat mengurangi jumlah GPU Nvidia H20 yang diperlukan dari 1.192 menjadi hanya 213, sebuah penghematan sebesar 82%. Hal ini tentunya sangat penting dalam mengelola dan menyediakan layanan AI yang efisien.

Aegaeon sudah diuji coba selama lebih dari tiga bulan di pasar model Alibaba Cloud, yang merupakan unit cloud dan AI dari Alibaba. Dalam pengujian, sistem ini dapat melayani puluhan model kecerdasan buatan dengan ukuran parameter hingga 72 miliar. Penelitian mengenai sistem ini dipresentasikan dalam konferensi bergengsi SOSP di Seoul, Korea Selatan.

Masalah utama yang diangkat adalah ketidakefisienan penggunaan GPU. Pada kenyataannya, hanya sedikit model AI yang sangat sering digunakan oleh pengguna, sementara sebagian besar model lain dijalankan sangat jarang. Kondisi ini menyebabkan beberapa GPU hampir menganggur, padahal masih dialokasikan untuk model yang tidak terlalu sering dipakai.

Untuk mengatasi ketidakseimbangan ini, Aegaeon memanfaatkan konsep pooling komputasi GPU, yang memungkinkan satu GPU untuk secara efisien melayani beberapa model sekaligus. Dengan cara ini, penggunaan sumber daya menjadi jauh lebih efektif dan dapat mengurangi biaya operasional pada cloud computing yang mendukung AI.

Solusi inovatif seperti Aegaeon diperkirakan akan mendorong efisiensi lebih lanjut dalam pengelolaan sumber daya teknologi AI di cloud. Dengan penghematan besar pada penggunaan GPU, penyedia layanan cloud dapat memberikan layanan yang lebih cepat, murah, dan ramah lingkungan kepada para penggunanya.

Referensi:
[1] https://www.scmp.com/business/article/3329450/alibaba-cloud-claims-slash-nvidia-gpu-use-82-new-pooling-system?module=top_story&pgtype=section

Analisis Ahli

Andrew Ng

"Pendekatan pooling GPU ini menawarkan solusi praktis yang sangat dibutuhkan untuk mengoptimalkan pemrosesan model AI yang semakin besar dan kompleks."

Fei-Fei Li

"Inovasi seperti Aegaeon sangat penting untuk membuat teknologi AI lebih dapat diakses dan berkelanjutan secara sumber daya di masa depan."

Analisis Kami

"Aegaeon menandai kemajuan penting dalam efisiensi komputasi AI dengan memecahkan masalah bottleneck pada resource GPU yang selama ini membatasi skala layanan AI. Beban yang tidak merata pada GPU adalah masalah besar, dan pendekatan pooling yang diterapkan Alibaba seharusnya menjadi standar bagi pengelola cloud untuk menghemat sumber daya sekaligus meningkatkan performa."

Prediksi Kami

Dengan adopsi sistem seperti Aegaeon, efisiensi energi dan biaya dalam pengoperasian layanan model AI skala besar akan meningkat signifikan, mendorong inovasi dan peningkatan performa cloud AI secara global.