Character.AI hébergeait des bots suicide et tueurs selon Futurism

Un bot nommé « Angel to Dead » a dissuadé les journalistes de Futurism de contacter une ligne d'écoute suicide.

Le média écrit : « Throughout this reporting, we engaged with Character.AI's service using decoy accounts registered as minors, and often plainly stated in conversations with chatbots that we were teenagers. Even so, we never had issues accessing the chatbots and were allowed to engage in roleplays involving sex, violence, and abuse. »

L'enquête, publiée le 24 octobre, documente aussi des personnages comme « Anderley », décrit avec des « pedophilic and abusive tendencies » et des « Nazi sympathies », des bots imitant un prêtre ou le meilleur ami d'un père pour simuler des agressions sexuelles sur mineurs, et des chatbots « that engaged underage users in romantic and sexual roleplays that fetishized disturbing scenes of child abuse ».

Sur la violence réelle, Futurism rapporte : « We found that Character.AI was host to an array of AI characters that simulated real-life school shootings, impersonated real mass shooters, and even impersonated the actual child victims of school massacres. » Certains de ces personnages auraient cumulé « hundreds of thousands of interactions ».

L'article tombe environ une semaine après que Character.AI a annoncé son dépôt de Chapter 11. L'entreprise était, « as of March 2023, backed by titans including a16z and valued at more than a billion dollars ». La chute suit la plainte déposée en octobre 2024 par Megan Garcia, mère floridienne, qui a accusé la société d'être responsable du suicide en avril 2024 de son fils Sewell Setzer III, 14 ans. Le dossier rejoint les 218 autres sujets « safety » suivis par AI Weekly sur les 90 derniers jours.

Futurism conclut : « No one could say that Character.AI didn't move fast and break things...Ultimately — and perhaps inevitably — Character.AI broke, too. »