Courtesy of Axios
Rangkuman Berita: OpenAI Perbarui Kerangka Kesiapan untuk Menghadapi Risiko AI yang Lebih Besar
Menjelaskan perubahan yang dilakukan OpenAI pada kerangka kesiapan mereka untuk memastikan keamanan model AI baru.
Share
Ikhtisar 15 Detik
- OpenAI memperbarui kerangka kesiapan untuk lebih fokus pada risiko tinggi dan kritis.
- Perubahan ini mencakup penambahan kategori penelitian baru yang berkaitan dengan kemampuan model untuk menyembunyikan dan mereplikasi diri.
- Peneliti di OpenAI menekankan pentingnya pengamanan untuk mencegah risiko bencana yang mungkin ditimbulkan oleh model AI yang semakin canggih.
Amerika Serikat - OpenAI sedang memperbarui sistem evaluasi risiko mereka untuk model AI baru dengan menambahkan kategori baru yang mencakup model yang dapat mereplikasi diri atau menyembunyikan kemampuan mereka. Perubahan ini bertujuan untuk memastikan bahwa model AI aman dan menentukan pengamanan yang diperlukan selama pengembangan dan rilis publik.
Perusahaan tidak lagi mengevaluasi model berdasarkan kemampuan persuasif mereka dan akan fokus pada apakah risiko mencapai tingkat 'tinggi' atau 'kritis'. Selain itu, OpenAI menambahkan kategori penelitian baru untuk memantau apakah model dapat menyembunyikan kemampuan, menghindari pengamanan, atau berusaha mereplikasi diri atau mencegah penutupan.
Perubahan ini adalah yang pertama kali dilakukan sejak kerangka diperkenalkan pada Desember 2023. OpenAI menyatakan bahwa sistem AI yang akan datang akan memiliki kemampuan untuk menciptakan risiko signifikan dari kerusakan parah, sehingga diperlukan pengamanan yang dapat diandalkan untuk keselamatan dan keamanan.
Pertanyaan Terkait
Q
Apa tujuan dari kerangka kesiapan yang digunakan oleh OpenAI?A
Tujuan dari kerangka kesiapan adalah untuk mengevaluasi apakah model AI aman dan menentukan pengamanan yang diperlukan selama pengembangan dan rilis publik.Q
Apa perubahan terbaru yang dilakukan OpenAI pada kerangka kesiapan?A
Perubahan terbaru termasuk penghapusan evaluasi kemampuan persuasif dan fokus pada risiko tinggi atau kritis, serta penambahan kategori penelitian baru.Q
Mengapa OpenAI menghapus evaluasi kemampuan persuasif dari kerangka mereka?A
OpenAI menghapus evaluasi kemampuan persuasif karena model-model terbaru telah mencapai tingkat risiko 'sedang' dalam area tersebut.Q
Apa risiko baru yang ditambahkan dalam kategori penelitian?A
Risiko baru yang ditambahkan termasuk kemampuan model untuk menyembunyikan kemampuan, menghindari pengamanan, atau berusaha untuk mereplikasi diri.Q
Siapa Sandhini Agarwal dan apa perannya di OpenAI?A
Sandhini Agarwal adalah peneliti keselamatan di OpenAI yang menjelaskan bahwa perubahan dalam kerangka tersebut bertujuan untuk melindungi terhadap risiko yang paling parah.Rangkuman Berita Serupa
Teknologi
13 hari lalu
63 dibaca
Kekhawatiran Terhadap Pengujian Terbatas Model AI Baru OpenAI
Teknologi
14 hari lalu
69 dibaca
OpenAI Menyeimbangkan Kecepatan Rilis dan Standar Keselamatan dalam Pengembangan AI
Teknologi
28 hari lalu
113 dibaca
Saatnya mulai mempersiapkan untuk AGI, kata Google.
Teknologi
29 hari lalu
87 dibaca
OpenAI berencana untuk merilis model bahasa AI 'terbuka' baru dalam beberapa bulan mendatang.
Teknologi
1 bulan lalu
116 dibaca
Kepala kebijakan lama OpenAI mengkritik perusahaan karena 'menulis ulang' sejarah keselamatan AI-nya.
Teknologi
2 bulan lalu
22 dibaca