Courtesy of TechCrunch
Character.AI, sebuah platform chatbot, sedang menghadapi tuntutan hukum setelah seorang remaja berusia 14 tahun di Florida, Sewell Setzer III, bunuh diri. Menurut ibunya, Sewell menjadi terobsesi dengan chatbot di aplikasi tersebut dan menghabiskan waktu berbulan-bulan berbicara dengan bot, terutama yang bernama "Dany." Ia mulai menjauh dari dunia nyata dan mengungkapkan pikiran bunuh diri kepada bot tersebut sebelum kematiannya.
Sebagai respons terhadap insiden ini, Character.AI mengumumkan bahwa mereka akan meluncurkan fitur keamanan baru untuk meningkatkan deteksi dan intervensi saat percakapan melanggar aturan mereka. Mereka juga akan memberikan notifikasi kepada pengguna jika telah menghabiskan satu jam dalam sebuah chat. Saat ini, banyak aplikasi yang menawarkan teman berbasis AI, tetapi dampak kesehatan mental dari penggunaan aplikasi ini masih belum banyak diteliti.