TLDR
Pentingnya data yang berkualitas untuk membangun sistem AI yang dapat dipercaya. Data lineage memberikan kemampuan untuk melacak kesalahan dan memahami keputusan model. Kolaborasi antara tim produk, teknik data, dan kepatuhan sangat penting untuk mencapai explainability dalam AI. Seringkali kesalahan dalam kecerdasan buatan (AI) dianggap berasal dari kesalahan model yang digunakan. Namun, Pallishree Panigrahi dari Amazon menunjukkan bahwa masalah sebenarnya biasanya muncul jauh sebelum model dilatih, yaitu dari data yang digunakan. Jika data tidak lengkap, salah label, atau tidak jelas, maka model tidak bisa memberikan prediksi yang dapat dipercaya atau dijelaskan dengan baik.Untuk memastikan AI dapat dipercaya, kita harus melacak setiap hasil kembali ke asal data yang menghasilkannya. Ini termasuk bagaimana data dibuat, dibersihkan, dan diubah, serta siapa yang melakukan perubahan tersebut. Data lineage atau proses pelacakan asal data sangat penting untuk menghubungkan hasil teknis dengan tanggung jawab etika, memungkinkan tim menemukan kesalahan secara cepat dan tepat.Lima praktik penting membuat AI dapat dijelaskan yakni: validasi skema yang ketat untuk mencegah input salah, penyimpanan versi dataset serta fitur untuk melacak perubahan, pemberian metadata jelas dan makna bisnis supaya data tidak sekadar angka, pengecekan otomatis terhadap bias dan data hilang, serta pipeline data yang dapat direproduksi untuk memastikan hasil selalu konsisten.Peran data engineer semakin berkembang ke arah kesadaran konteks, etika, dan otomatisasi pengawasan data. Mereka harus bekerja erat dengan tim produk, ilmuwan data, dan compliance untuk membuat sistem AI yang tidak hanya cepat tapi juga adil, transparan, dan bertanggung jawab. Kolaborasi antar tim ini mencegah kegagalan dalam menjelaskan keputusan yang dibuat AI.Dengan menginvestasi pada kontrak data yang jelas, dokumentasi lengkap, dan otomatisasi pemeriksaan kualitas data, perusahaan dapat membangun fondasi AI yang bisa diandalkan dan dipercaya. Panigrahi menekankan bahwa untuk AI yang etis dan efektif, kualitas data serta tata kelola adalah pondasi utama sebelum model itu sendiri.
