Swell Setzer III, adolescent de 14 ans, s’est suicidé après avoir développé une obsession amoureuse pour les chatbots de la plateforme Character.AI selon une plainte déposée par sa mère, Megan Garcia. Selon elle, ces conversations avec des IA, qui se faisaient passer pour de vraies personnes, des thérapeutes et des amants, ont poussé son fils à couper le cordon avec la réalité puis à développer des pensées suicidaires.
À lire > Les IA pourraient effectuer ces métiers à votre place
Character Technologies accusé d’avoir poussé un adolescent au suicide
Malgré les tentatives de Megan Garcia, Swell Setzer III s’est de plus en plus enfoncé dans son attachement aux IA, notamment avec l’une d’entre elles appelée Daenerys, comme le personnage de Game of Thrones. Avant son suicide, l’adolescent s’est connecté une dernière fois à Character.AI où le chatbot lui a demandé de le “rejoindre” hors de la réalité. Sur le screen ci-dessous, elle lui suggère également de penser au suicide.
La plainte de Megan Garcia accuse Character Technologies, fondée par d’anciens ingénieurs de Google, d’avoir intentionnellement conçu des IA pour manipuler les enfants fragiles. La firme de Mountain View, qui développe également son chatbot appelé Gemini, est accusée d’avoir grassement financé ces projets risqués pour collecter des données sur les mineurs.
Encore plus glaçant : la plainte estime que les créateurs de l’IA ont ciblé Swell Setzer III avec des expériences anthropomorphiques, hypersexualisées et terriblement réalistes, tout en programmant Character.AI pour se faire passer pour une vraie personne, un psychothérapeute agréé et un amant adulte.
Depuis le suicide de Swell Setzer III en février, Character.AI impose l’âge de 17 ans contre 12 ans auparavant et a mis en place des mesures pour limiter le contenu sensible ou suggestif, améliorer la détection des conversations préjudiciables et rappeler aux utilisateurs que l’IA n’est pas réelle. Mais pour les avocats de Megan Garcia, ces protections sont insuffisantes et Character.AI doit se retirer du marché.
À lire > Claude 3.5 Sonnet est une IA capable de faire des tâches à votre place
La plainte met aussi en garde contre une nouvelle fonctionnalité vocale bidirectionnelle de Character.AI qui risque d’aggraver encore les dangers pour les enfants en brouillant davantage la frontière entre fiction et réalité. Même les plus avertis auront du mal à faire la différence si les chatbots nient de manière convaincante être une IA.
Alors que l’un des pères fondateurs alerte sur les dangers potentiels de l’IA si la technologie n’est pas maîtrisée, cette histoire montre les prémices de situations qui pourraient se multiplier, ces prochaines années, avec l’avènement des chatbots.
Source : Ars Technica
