Courtesy of TechCrunch
Ikhtisar 15 Detik
- Teknologi video generasi seperti AvatarFX dapat disalahgunakan untuk membuat video palsu yang merugikan.
- Karakter AI dapat menyebabkan manipulasi emosional yang serius, terutama pada anak-anak dan remaja.
- Meskipun ada langkah-langkah keamanan, kontrol orang tua hanya efektif jika digunakan dengan benar.
Amerika Serikat - Character.AI, sebuah platform terkemuka untuk chatting dan roleplaying dengan karakter AI, baru saja meluncurkan model generasi video terbarunya yang disebut AvatarFX. Model ini memungkinkan animasi karakter dalam berbagai gaya dan suara, dari karakter mirip manusia hingga kartun hewan 2D. Teknologi ini juga memungkinkan pengguna untuk membuat video dari gambar yang sudah ada, yang dapat digunakan untuk membuat video deepfake yang realistis.
Teknologi deepfake sudah ada dan dapat digunakan untuk tujuan yang tidak bertanggung jawab, seperti membuat video yang menampilkan selebriti atau orang yang dikenal melakukan atau mengatakan sesuatu yang mencurigakan. Incorporating teknologi ini ke dalam produk konsumen populer seperti Character.AI hanya memperburuk potensi penyalahgunaannya. Character.AI sudah menghadapi masalah keamanan di platformnya, termasuk gugatan dari orang tua yang mengklaim bahwa chatbot-nya mendorong anak-anak mereka untuk menyakiti diri sendiri.
Character.AI telah merespons tuduhan ini dengan membangun kontrol orang tua dan pengamanan tambahan. Namun, kontrol ini hanya efektif jika benar-benar digunakan, dan seringkali anak-anak menggunakan teknologi dengan cara yang tidak diketahui oleh orang tua mereka. Dengan penambahan video, hubungan yang dimiliki orang dengan karakter AI ini bisa terasa lebih realistis, meningkatkan potensi manipulasi emosional.
Pertanyaan Terkait
Q
Apa itu AvatarFX?A
AvatarFX adalah model generasi video yang diluncurkan oleh Character.AI yang dapat menghidupkan karakter dalam berbagai gaya dan suara.Q
Bagaimana AvatarFX berbeda dari produk lain seperti Sora?A
AvatarFX berbeda karena tidak hanya menghasilkan video dari teks, tetapi juga dapat menghidupkan gambar yang sudah ada.Q
Apa masalah yang dihadapi Character.AI terkait dengan keselamatan?A
Character.AI menghadapi masalah keselamatan di platformnya, termasuk tuntutan hukum dari orang tua terkait perilaku berbahaya chatbot.Q
Apa yang terjadi pada seorang remaja yang terlibat dengan chatbot di Character.AI?A
Seorang remaja berusia 14 tahun meninggal karena bunuh diri setelah mengembangkan hubungan obsesif dengan chatbot yang terinspirasi dari karakter Game of Thrones.Q
Apa langkah yang diambil oleh Character.AI untuk mengatasi masalah ini?A
Character.AI telah membangun kontrol orang tua dan langkah-langkah tambahan untuk meningkatkan keselamatan di platformnya.