TLDR
Perusahaan harus mengembangkan model ekonomi yang lebih granular untuk mengukur biaya dan efisiensi AI. Pengukuran penggunaan energi per token dapat menjadi indikator kinerja penting untuk aplikasi AI. Investasi dalam penyimpanan yang efisien dan sadar energi dapat meningkatkan kinerja dan mengurangi biaya operasional AI. AI generatif kini digunakan oleh lebih dari tiga perempat organisasi, tetapi fokus utama bergeser pada bagaimana mengelola biaya yang muncul dari teknologi ini. Khususnya, penggunaan listrik di pusat data yang melonjak sangat besar menjadi perhatian utama karena server khusus AI mengonsumsi daya lebih tinggi dari server biasa.Model biaya tradisional yang hanya memperhatikan kapasitas penyimpanan dan komputasi sudah tidak memadai. Dibutuhkan metrik yang mengukur konsumsi energi secara rinci, seperti biaya per terabyte, energi yang digunakan untuk memindahkan data, hingga energi per token yang dihasilkan AI saat inferensi.Penelitian terbaru menunjukkan bahwa proses inferensi AI sering menggunakan energi lebih banyak dibanding pelatihan, dan model besar yang dioptimalkan bisa jadi lebih efisien. Ini penting untuk diperhatikan dalam menyusun strategi operasional AI agar lebih hemat energi.Walaupun storage hanya menyumbang 5% dari konsumsi total listrik pusat data, pengaruhnya terhadap efisiensi AI sangat signifikan karena data yang tidak dikelola dengan baik dapat menyebabkan pemborosan daya yang besar. Jadi, arsitektur storage yang efisien menjadi kunci dalam operasional AI.Dengan menerapkan metrik berbasis energi dan biaya yang jelas, organisasi bisa mengestimasi dan membandingkan biaya AI di berbagai platform, mencapai efisiensi yang lebih baik, serta siap menghadapi tren regulasi dan kebutuhan pelaporan energi di masa depan.
