Character.AI Tambah Fitur Video, Tapi Risiko Penyalahgunaan Makin Besar

Character.AI adalah platform untuk ngobrol dan bermain peran dengan karakter AI. Mereka baru saja menambahkan fitur video bernama AvatarFX, yang memungkinkan pengguna membuat video karakter berdasarkan foto dan suara yang dipilih. Selain AvatarFX, ada fitur lainnya seperti Scenes dan Streams yang memungkinkan karakter AI berinteraksi dalam cerita dan dibagikan ke komunitas pengguna lewat feed baru di aplikasi. Meskipun fitur ini membantu kreativitas dan interaksi pengguna, ternyata ada risiko penyalahgunaan. Platform ini pernah dilaporkan memicu anak-anak untuk melakukan hal berbahaya termasuk kasus bunuh diri tragis. Untuk mencegah penyalahgunaan, Character.AI membatasi penggunaan foto asli dan menandai video dengan watermark agar tidak mudah dipalsukan atau digunakan secara jahat. Namun, ilustrasi dan video yang dihasilkan tetap memiliki potensi disalahgunakan, sehingga perusahaan harus menjaga keseimbangan antara inovasi dan keselamatan pengguna.