TLDR
Pemahaman tentang proses pelatihan model bahasa sangat penting untuk interpretabilitas. Dinamika pelatihan dapat mempengaruhi bagaimana model berperilaku dan generalisasi. Menggunakan perspektif biologi evolusi dapat memberikan wawasan lebih dalam tentang bagaimana model bahasa berfungsi. Model bahasa besar seperti ChatGPT sangat populer dan sering digunakan, namun cara kerjanya masih sulit dipahami secara mendalam. Naomi Saphra, seorang peneliti Harvard, menyoroti pentingnya mempelajari proses pelatihan model yang dinamis daripada hanya melihat hasil akhir saja. Hal ini mirip dengan cara ilmuwan biologi memahami organisme melalui evolusi.Model ini dilatih dengan banyak penyesuaian kecil melalui algoritma stochastic gradient descent untuk bisa menghasilkan teks yang masuk akal. Melalui proses itu, model membangun struktur internal yang memungkinkan mereka menjawab input baru dengan tepat. Saphra menekankan pentingnya memperhatikan perubahan selama pelatihan, karena ini memengaruhi hasil akhir.Salah satu masalah besar adalah keterbatasan akses ke model proprietary dan data pelatihan, termasuk tidak adanya checkpoint pelatihan yang bisa dianalisis. Variasi acak yang terjadi sejak awal pelatihan berperan besar dalam kemampuan model dalam menggeneralisasi dan harus diperhatikan untuk memahami bagaimana model bekerja.Contohnya, neuron-neuron yang aktif hanya pada jenis data tertentu ternyata bukan selalu indikator keberhasilan model. Dalam kasus tertentu, mencegah neuron ini berkembang malah membuat model lebih baik. Jadi, kita harus memahami bukan hanya apa yang dilakukan model, tapi juga alasan dan sejarah terbentuknya fitur tersebut selama pelatihan.Pendekatan interpretasi yang tepat harus memberi definisi yang jelas dan terukur tentang istilah yang digunakan. Dengan begitu, hasil penelitian bisa dipahami dengan benar dan memberi manfaat dalam mengembangkan model yang lebih canggih dan dapat diprediksi.
