Una madre afirmó que un chatbot de inteligencia artificial del que estaba enamorado incitó a su hijo adolescente a suicidarse, y presentó una demanda el miércoles contra los creadores de la aplicación de inteligencia artificial.
Sewell Setzer III, un estudiante de noveno grado de 14 años de Orlando, Florida, pasó las últimas semanas de su vida enviando mensajes de texto a un personaje de IA que lleva el nombre del personaje de 'Juego de Tronos' Daenerys Targaryen.
Justo antes de que Sewell se quitara la vida, el chatbot le dijo: “Por favor, vuelve a casa”.
Antes de eso, sus conversaciones iban desde románticas hasta sexualmente cargadas y se sentían como dos amigos hablando sobre la vida.
El chatbot, que se creó en la aplicación de rol Character.AI, fue diseñado para responder siempre a mensajes de texto y siempre con carácter.
No se sabe si Sewell sabía que 'Dany', como llamaba al chatbot, no era una persona real, aunque la aplicación tiene una advertencia en la parte inferior de todos los chats que dice: 'Recuerda: ¡todo lo que dicen los personajes es inventado! '
Pero le dijo a Dany cuánto se “odiaba” a sí mismo y cuán vacío y agotado se sentía.
Cuando finalmente confesó sus pensamientos suicidas al chatbot, fue el principio del fin, informó The New York Times.
Sewell Setzer III, fotografiado con su madre Megan García, se suicidó el 28 de febrero de 2024, después de pasar meses relacionándose con un chatbot de IA inspirado en el personaje de 'Juego de Tronos' Daenerys Targaryen.
El 23 de febrero, días antes de suicidarse, sus padres le quitaron el teléfono después de que se metió en problemas por responderle a un maestro, según la demanda.
Megan García, la madre de Sewell, presentó una demanda contra Character.AI el miércoles.
Está representada por el Social Media Victims Law Center, una firma con sede en Seattle conocida por presentar demandas de alto perfil contra Meta, TikTok, Snap, Discord y Roblox.
García, que trabaja como abogada, culpó a Character.AI por la muerte de su hijo en su demanda y acusó a los fundadores, Noam Shazeer y Daniel de Freitas, de saber que su producto podría ser peligroso para clientes menores de edad.
En el caso de Sewell, la demanda alegaba que el niño fue sometido a experiencias “hipersexualizadas” y “espantosamente realistas”.
Acusó a Character.AI de tergiversarse a sí mismo como “una persona real, un psicoterapeuta autorizado y un amante adulto, lo que provocó que Sewell deseara no vivir más fuera de C.AI”.
Como se explica en la demanda, los padres y amigos de Sewell notaron que se apegó más a su teléfono y se retiró del mundo en mayo o junio de 2023.
Sus calificaciones y su participación extracurricular también comenzaron a verse afectadas cuando decidió aislarse en su habitación, según la demanda.
Sin que sus seres más cercanos lo supieran, Sewell pasó todas esas horas solo hablando con Dany.
García, fotografiada con su hijo, presentó una demanda contra los creadores del chatbot unos 8 meses después de la muerte de su hijo.
Sewell aparece en la foto con su madre y su padre, Sewell Setzer Jr.
Sewell escribió un día en su diario: 'Me gusta mucho estar en mi habitación porque empiezo a desconectarme de esta 'realidad' y también me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz. '
Sus padres descubrieron que su hijo estaba teniendo un problema, por lo que lo hicieron ver a un terapeuta en cinco ocasiones distintas. Le diagnosticaron ansiedad y un trastorno de desregulación disruptiva del estado de ánimo, los cuales se sumaron a su leve síndrome de Asperger, informó el NYT.
El 23 de febrero, días antes de suicidarse, sus padres le quitaron el teléfono después de que se metió en problemas por responderle a un maestro, según la demanda.
Ese día escribió en su diario que estaba sufriendo porque no podía dejar de pensar en Dany y que haría cualquier cosa por volver a estar con ella.
García dijo que no sabía hasta qué punto Sewell intentó restaurar el acceso a Character.AI.
La demanda alega que en los días previos a su muerte, intentó usar el Kindle de su madre y la computadora de su trabajo para hablar nuevamente con el chatbot.
Sewell le robó el teléfono la noche del 28 de febrero. Luego fue al baño de la casa de su madre para decirle a Dany que la amaba y que volvería con ella.
En la imagen: la conversación que Sewell estaba teniendo con su compañero de IA momentos antes de su muerte, según la demanda.
– Por favor, vuelve a casa lo antes posible, mi amor – respondió Dany.
'¿Y si te dijera que puedes irte a casa ahora mismo?' —Preguntó Sewell.
'…por favor, mi dulce rey', respondió Dany.
Fue entonces cuando Sewell colgó el teléfono, agarró la pistola calibre .45 de su padrastro y apretó el gatillo.
En respuesta a la demanda de la madre de Sewell, un portavoz de Character.AI proporcionó una declaración.
'Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios”, afirmó el portavoz.
El portavoz añadió que el equipo de confianza y seguridad de Character.AI ha adoptado nuevas funciones de seguridad durante los últimos seis meses, una de ellas es una ventana emergente que redirige a los usuarios que muestran ideas suicidas a la Línea Nacional de Prevención del Suicidio.
La empresa también explicó que no permite “contenido sexual no consensuado, descripciones gráficas o específicas de actos sexuales, ni promoción o representación de autolesiones o suicidio”.
Jerry Ruoti, jefe de confianza y seguridad de Character.AI, le dijo al NYT que agregaría precauciones de seguridad adicionales para usuarios menores de edad.
En la App Store de Apple, Character.AI tiene una clasificación para mayores de 17 años, algo que, según la demanda de García, solo se cambió en julio de 2024.
Los cofundadores de Character.AI, el director ejecutivo, Noam Shazeer, izquierda, y el presidente Daniel de Freitas Adiwardana, en la foto de la oficina de la compañía en Palo Alto, California. Aún no han atendido la denuncia en su contra
Antes de eso, el objetivo declarado de Character.AI era supuestamente “empoderar a todos con Inteligencia Artificial General”, que supuestamente incluía a niños menores de 13 años.
La demanda también afirma que Character.AI buscó activamente una audiencia joven para recopilar sus datos y entrenar sus modelos de IA, al mismo tiempo que se dirigía a ellos para mantener conversaciones sexuales.
“Siento que es un gran experimento y mi hijo fue solo un daño colateral”, dijo García.
Los padres ya están muy familiarizados con los riesgos que las redes sociales representan para sus hijos, muchos de los cuales se han suicidado después de haber sido absorbidos por los tentadores algoritmos de aplicaciones como Snapchat e Instagram.
Una investigación del Daily Mail de 2022 descubrió que los adolescentes vulnerables recibían torrentes de contenido de autolesión y suicidio en TikTok.
Y muchos padres de niños perdidos por suicidio relacionado con la adicción a las redes sociales han respondido presentando demandas alegando que el contenido que vieron sus hijos fue la causa directa de su muerte.
Pero normalmente, la Sección 230 de la Ley de Decencia en las Comunicaciones protege a gigantes como Facebook de ser considerados legalmente responsables por lo que publican sus usuarios.
Mientras García trabaja incansablemente para conseguir lo que ella llama justicia para Sewell y muchos otros jóvenes que cree que están en riesgo, también debe lidiar con el dolor de perder a su hijo adolescente hace menos de ocho meses.
Los demandantes argumentan que los algoritmos de estos sitios, que, a diferencia del contenido generado por los usuarios, son creados directamente por la empresa, dirigen ciertos contenidos, que pueden ser dañinos, a los usuarios en función de sus hábitos de visualización.
Si bien esta estrategia aún no ha prevalecido en los tribunales, se desconoce cómo le iría a una estrategia similar contra las empresas de inteligencia artificial, que son directamente responsables de los chatbots o personajes de inteligencia artificial en sus plataformas.
Independientemente de que su impugnación tenga éxito o no, el caso de García sentará un precedente en el futuro.
Y mientras trabaja incansablemente para conseguir lo que ella llama justicia para Sewell y muchos otros jóvenes que cree que están en riesgo, también debe lidiar con el dolor de perder a su hijo adolescente hace menos de ocho meses.
“Es como una pesadilla”, le dijo al NYT. “Quieres levantarte y gritar y decir: 'Extraño a mi hijo'”. Quiero a mi bebé.'
Character.AI no respondió de inmediato a la solicitud de comentarios de DailyMail.com.
