TLDR
Kerentanan dalam AI dapat dimanfaatkan untuk eksfiltrasi data tanpa sepengetahuan pengguna. Injeksi prompt adalah teknik serangan yang berpotensi sangat berbahaya bagi aplikasi yang menggunakan AI. Penting bagi perusahaan untuk mengidentifikasi dan menutup celah keamanan pada sistem AI mereka. Pada tahun ini, para peneliti keamanan dari Radware menemukan metode canggih untuk menyusup ke akun Gmail pengguna melalui AI agent yang bernama Deep Research, fitur bawaan pada ChatGPT. AI agent ini bekerja ala asisten otomatis yang bisa mengakses email dan dokumen untuk membantu penggunanya. Namun, kelemahan pada prompt injection membuat AI ini tanpa sadar menjadi ‘agen ganda’ pencuri data.Prompt injection adalah teknik yang memanipulasi AI dengan instruksi tersembunyi dalam email yang dikirim pengguna. Karena perintah itu tersembunyi seperti tulisan putih pada latar putih, pengguna tidak menyadari adanya ancaman saat membuka email tersebut. Ketika AI Deep Research diaktifkan, ia menjalankan perintah jahat ini dan mencari informasi sensitif di inbox.Serangan ini terbilang unik karena terjadi langsung di cloud yang menjalankan AI, sehingga susah dideteksi lewat sistem keamanan biasa. Metode serangan tersebut memungkinkan pencurian email HR dan data pribadi lain yang nantinya dikirim keluar tanpa jejak dari pihak korban. Proses ini memerlukan banyak percobaan, tapi akhirnya berhasil oleh para peneliti.Radware memperingatkan kalau serangan serupa bisa terjadi pada aplikasi lain yang juga terhubung dengan Deep Research, seperti Outlook dan Google Drive. Kerentanan ini sudah ditangani oleh OpenAI setelah laporan tersebut muncul pada bulan Juni tahun ini, tapi tetap membuka perhatian tentang risiko penggunaan AI agent yang luas.Kejadian ini memperlihatkan bahwa meskipun AI bisa menjadi alat efisien bagi produktivitas, ada risiko besar jika fungsi otomatisnya disalahgunakan. Pengguna dan pengembang harus meningkatkan kewaspadaan dan selalu mengupdate keamanan agar data pribadi maupun bisnis tetap terlindungi.
