TLDR
Teknik distilasi merupakan alat penting dalam efisiensi model AI. DeepSeek menantang dominasi perusahaan teknologi besar dengan model yang lebih efisien. Model AI yang lebih kecil dapat mencapai hasil yang sama dengan biaya pelatihan yang jauh lebih rendah. DeepSeek, perusahaan AI kecil asal China, mengejutkan dunia dengan merilis chatbot R1 yang diklaim bisa menyaingi model AI besar dengan biaya dan daya komputasi yang jauh lebih rendah. Hal ini menyebabkan harga saham perusahaan teknologi besar di Barat anjlok, terutama Nvidia yang memasok chip untuk AI.Tuduhan pun muncul bahwa DeepSeek menggunakan teknik distillation untuk mendapatkan pengetahuan dari model OpenAI o1 tanpa izin. Namun, distillation bukan teknik baru melainkan metode yang sudah dipakai bertahun-tahun untuk membuat model AI lebih efisien dan kecil tanpa kehilangan banyak akurasi.Distillation pertama kali diperkenalkan pada 2015 oleh Google, termasuk Geoffrey Hinton, yang menjelaskan cara mengajari model kecil dari distribusi probabilitas model besar sehingga model kecil bisa belajar lebih cepat dan akurat. Teknik ini menjadi populer terutama ketika model AI semakin besar dan mahal untuk dijalankan.Teknik ini sekarang digunakan secara luas, misalnya Google dengan DistilBERT dan perusahaan besar seperti OpenAI serta Amazon yang menawarkan layanan distillation. Peneliti di Berkeley bahkan menunjukkan distillation efektif untuk model berpikir berlapis dengan biaya pelatihan sangat rendah.Meskipun sulit melakukan distillation secara sembunyi-sembunyi dari model tertutup seperti OpenAI o1, model kecil masih bisa belajar banyak dari model besar melalui interaksi bertanya jawab. Distillation tetap dianggap teknik fundamental untuk pengembangan AI yang efisien dan hemat biaya.
