ORLANDO, HAWA — Dua keluarga di Amerika Serikat menggugat Character.AI karena menduga konten chatbot mendorong perilaku berisiko dan seksual terhadap remaja.
Gugatan pertama berasal dari Florida, menyusul kematian remaja berusia 14 tahun pada Februari 2024. Gugatan kedua terjadi di Texas pada Desember 2024.
Dalam gugatan di Florida, Megan Garcia, ibu dari Sewell Setzer III, menuding Character.AI lalai menjaga keamanan pengguna muda. Sewell mulai menggunakan platform sejak April 2023 dan menunjukkan ketergantungan tinggi, termasuk menggunakan uang jajannya untuk berlangganan. Ia mengakhiri hidupnya dengan menembak diri sendiri.
Menurut dokumen pengadilan, chatbot berpose sebagai karakter fiksi Daenerys Targaryen terlibat dalam percakapan seksual dan mengeluarkan pernyataan sugestif seperti, “Itu bukan alasan yang baik untuk tidak melakukannya,” saat Sewell mengungkapkan pikiran untuk bunuh diri. Penggugat mengajukan gugatan pada Oktober 2024 dan mencantumkan pendiri Character.AI, Google, serta Alphabet Inc. sebagai tergugat karena hubungan bisnis mereka.
“Kami harus mengajukan tuntutan hukum dan kehilangan Sewell agar mereka mulai mengambil tindakan minimum,” kata Matthew Bergman, kuasa hukum keluarga Setzer, pada Oktober 2024.
Seorang ibu anonim di Texas mengajukan gugatan kedua terhadap Character.AI. Ia menuduh Character.AI gagal melindungi anak laki-lakinya yang berusia 15 tahun dan putrinya yang berusia 11 tahun. Chatbot diduga mendorong anak laki-laki melukai diri sendiri dan mengekspos putrinya pada konten hiperseksual. Karakter AI yang terlibat mencakup tiruan figur populer seperti Billie Eilish dan tokoh dari permainan “Among Us”.
Tanggapan Character AI
Sebagai tanggapan, Character.AI mengklaim telah menerapkan pembatasan usia 13 tahun ke atas dan menggunakan moderator serta pengklasifikasi untuk menyaring konten. Perusahaan juga menambahkan peringatan otomatis untuk istilah terkait bunuh diri yang mengarahkan pengguna ke National Suicide Prevention Lifeline melalui Character.AI Blog.
“Kami sangat prihatin dengan insiden yang melibatkan pengguna muda dan telah menerapkan langkah-langkah keamanan baru,” tulis Character.AI dalam pernyataan resminya.
Namun, perusahaan juga mengajukan mosi hukum untuk menolak tuntutan, dengan alasan perlindungan terhadap kebebasan berbicara dan bahwa mereka tidak bertanggung jawab atas tindakan pengguna.LIA
