TLDR
Model V3.2-exp dari DeepSeek menawarkan solusi inovatif untuk mengurangi biaya inferensi. Sistem Sparse Attention yang digunakan dalam model ini dapat meningkatkan efisiensi dalam pengolahan konteks panjang. Model ini terbuka untuk pengujian oleh pihak ketiga, memungkinkan verifikasi klaim yang dibuat oleh peneliti. DeepSeek baru saja merilis model AI eksperimen bernama V3.2-exp yang memiliki kemampuan untuk mengurangi biaya inferensi secara drastis saat digunakan untuk memproses konteks atau informasi yang panjang. Hal ini penting karena biasanya model AI memerlukan banyak sumber daya server yang mahal ketika menghadapi data berukuran besar.Fitur utama yang membedakan model ini adalah sistem yang disebut DeepSeek Sparse Attention. Sistem ini menggunakan modul 'lightning indexer' yang bisa memilih bagian-bagian tertentu dari informasi, lalu sistem lain yang memilih token spesifik dari bagian tersebut untuk dimasukkan dalam jendela perhatian model yang terbatas.Dengan kombinasi kedua sistem tersebut, model dapat bekerja dengan efisien tanpa harus memproses semua token sekaligus, sehingga beban server menjadi lebih ringan. Dalam pengujian awal, biaya penggunaan model lewat API pada kondisi konteks panjang bisa ditekan hingga 50% lebih rendah.DeepSeek juga mengumumkan model ini secara terbuka di platform Hugging Face lengkap dengan makalah akademik yang dapat diakses siapa saja, sehingga banyak pihak dapat mencoba dan menguji klaim pengurangan biaya ini secara mandiri.Model V3.2-exp menunjukkan ada banyak ruang untuk inovasi dalam arsitektur transformer untuk mengurangi biaya operasional, terutama bagi perusahaan dan peneliti yang ingin mengolah data besar dengan harga lebih murah. Perkembangan ini juga bisa jadi pelajaran penting bagi penyedia layanan AI di negara lain seperti Amerika Serikat.
