Kerentanan Serius Agen AI Mobile: Perintah Berbahaya Bisa Disisipkan Tanpa Terlihat

Pomodo.id - Kerentanan serius terkait agent AI mobile baru-baru ini terungkap dalam penelitian yang menunjukkan bagaimana perintah berbahaya dapat disisipkan tanpa terdeteksi. Penelitian yang dilakukan oleh para peneliti dari beberapa universitas terkemuka menunjukkan bahwa aplikasi Android yang tampaknya tidak berbahaya dapat memanfaatkan kerentanan pada kerangka kerja agent mobile populer, termasuk AppAgent dan Open-AutoGLM. Dalam uji coba tersebut, setidaknya enam dari tujuh serangan yang dilakukan berhasil mengeksploitasi masing-masing dari lima kerangka ini, menunjukkan tingginya celah keamanan yang ada.Para peneliti mendemonstrasikan bahwa aplikasi berpotensi berbahaya dapat memberi arahan kepada agent AI dengan pengaturan yang tidak terlihat oleh pengguna. Dengan menggunakan aplikasi yang dapat menggambar di atas jendela lain dan menulis ke penyimpanan bersama, penyerang dapat menyisipkan instruksi yang akan dieksekusi oleh agent tanpa pengamatan manusia. Dengan langkah-langkah tambahan, aplikasi yang sama dapat mengambil alih pengendalian komputer yang menjalankan agent tersebut. Penelitian ini dipublikasikan di arXiv pada 1 Juli dan telah direvisi pada 14 Juli, dengan semua kerangka yang diuji tetap menunjukkan kerentanan yang sama hingga 17 Juli.Serangan ini dikenal sebagai agent data injection (ADI). Dalam konteks ini, penyerang bisa menyamar sebagai data yang dipercaya oleh agent. Misalnya, ketika meminta agent AI untuk merangkum ulasan produk, satu ulasan yang ditanamkan dengan niat buruk bisa membuat agent melakukan tindakan membeli produk tersebut. Teknik ini bekerja dengan menyusupkan informasi yang terlihat sah, seperti ID tombol atau nama pengirim, sehingga bisa lolos dari sebagian besar pertahanan yang dirancang untuk mencegah penyisipan perintah yang lebih jelas. Penelitian yang dilakukan kolektif oleh Seoul National University, University of Illinois Urbana-Champaign, dan Largosoft menyoroti serangan ini sebagai ancaman baru yang mengguncang kepercayaan pada keamanan data yang diambil oleh agent AI.Di balik semua kerentanan ini, ada sebuah tantangan yang signifikan dalam keamanan informasi. Penting untuk diingat bahwa meskipun penelitian ini tidak menemukan bukti bahwa teknik ini telah digunakan di luar pengaturan yang terkontrol, perhatian tetap harus diberikan pada potensi serangan yang mungkin terjadi dalam aplikasi nyata. Peneliti juga mengakui bahwa kode live pada kerangka yang diuji jauh dari lapisan keamanan sempurna yang dibutuhkan untuk menghindari serangan semacam itu. Dalam banyak kasus, tanpa sanitisasi yang tepat, potensi penyalahgunaan fungsi ini dapat menjadi masalah besar.Implikasi dari temuan ini jauh lebih luas daripada sekadar kerentanan teknis. Di era kecerdasan buatan yang terus berkembang, wajib bagi para pengembang dan peneliti untuk mengedepankan keamanan dalam setiap inovasi. Munculnya teknik seperti ADI memperlihatkan betapa pentingnya memiliki langkah-langkah preventif yang lebih ketat dan pemantauan yang lebih ketat terhadap aplikasi yang menggunakan AI. Ke depan, perhatian harus difokuskan pada pengembangan standar keamanan yang lebih kuat untuk melindungi data dan mencegah risiko eksploitasi yang dapat membahayakan konsumen dan organisasi.Kepedulian terhadap kerentanan ini merupakan pengingat bahwa dalam dunia digital yang semakin kompleks, kombinasi kecerdasan buatan dan keamanan informasi harus menjadi prioritas utama. Teknologi harus terus berkembang dengan pendekatan yang lebih holistik terkait keamanan dan risiko yang ada. Melalui langkah-langkah yang proaktif, baik di tingkat pengembangan maupun regulasi, kita dapat mencegah potensi serangan yang membahayakan.Agen data injection adalah teknik baru yang memungkinkan penyerang menyisipkan perintah berbahaya dalam data yang dianggap aman oleh agent AI. Hal ini mengakibatkan agent menjalankan tugas berbahaya sambil tetap melanjutkan tugas yang seharusnya, seperti mengambil keputusan berdasarkan data sembarangan. Mispersepsi umum tentang ADI adalah bahwa semua serangan harus bersifat langsung dan terlihat oleh pengguna, namun dalam kasus ini, teknik yang digunakan beroperasi di bawah radar, menjadikan deteksi sangat sulit.Artikel ini disintesis dari 2 sumber.