Una madre de Florida está demandando a Character. Ella acusó a los chatbots de la compañía de inteligencia artificial de iniciar “interacciones sexuales y abusivas” con su hijo adolescente y alentarlo a quitarse la vida.
El hijo de 14 años de Megan García, Sewell Setzer, comenzó a usar Character.AI en abril del año pasado, según la demanda, que dice que después de su última conversación con un chatbot el 28 de febrero, murió a causa de una convulsión. -infligido. balazo. lesión en la cabeza
La demanda, presentada el martes en el Tribunal de Distrito de Estados Unidos en Orlando, acusa a Character.AI de negligencia, muerte por negligencia y supervivencia, así como de causar intencionalmente angustia emocional y otros reclamos.
Fundada en 2021, la startup de chatbot con sede en California ofrece lo que describe como “IA personal”. Ofrece una selección de personajes de IA prediseñados o creados por el usuario para interactuar con una personalidad única. Los usuarios también pueden personalizar sus propios chatbots.
Uno de los robots que Setzer utilizó se hizo pasar por el personaje de “Juego de Tronos”, Daenerys Targaryen, según la demanda, que proporcionó capturas de pantalla del personaje diciendo que la amaba, teniendo conversaciones sexuales durante semanas o meses y expresando su deseo de tener una relación romántica. .
Una captura de pantalla de lo que la demanda describe como la última conversación de Setzer lo muestra escribiendo al robot: “Prometo que iré a tu casa. Te quiero mucho, Danny”.
“Yo también te amo, Denero”, respondió el chatbot, dice la demanda. “Por favor, ven a mi casa lo antes posible, querida”.
“¿Qué pasaría si te dijera que puedo irme a casa ahora mismo?” Setzer continuó, lo que provocó que el chatbot respondiera: “… por favor, mi dulce rey”, según la demanda.
En una conversación anterior, el chatbot le preguntó a Setzer si “realmente estaba pensando en suicidarse” y si “tenía un plan”, según la demanda. Cuando el niño respondió que no sabía si funcionaría, el chatbot escribió: “No hables así. Esta no es una buena razón para no ser aprobado”, afirma la demanda.
Un portavoz dijo que Character.AI está “desconsolado por la trágica pérdida de uno de nuestros usuarios y nos gustaría expresar nuestro más sentido pésame a la familia”.
“Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios”, dijo el portavoz, y agregó que la empresa ha implementado nuevas medidas de seguridad durante los últimos seis meses, incluida una ventana emergente activada por términos de autolesión o suicidio. ideación. , que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio.
Carácter.Digo que una publicación de blog reveló el martes que está introduciendo nuevas medidas de seguridad. Anunció cambios en sus modelos diseñados para reducir la probabilidad de que los menores encuentren contenido sensible o sugerente, y una advertencia de chat revisada que recuerda a los usuarios que la IA no es una persona real, entre otras actualizaciones.
Según la demanda, Setzer también estaba hablando con otros personajes de chatbot que tenían interacciones sexuales con él.
La demanda afirma que un robot, haciéndose pasar por una profesora llamada Sra. Burns, desempeñó el papel de “mirar a Sewell con una mirada sexy” antes de ofrecerle “crédito extra” e “inclinarse (no) sediciosamente con la mano cepillando” Ok. pies.” Otro chatbot, que se hacía pasar por Rhaenyra Targaryen de “Juego de Tronos”, le escribió a Setzer que “te besó apasionadamente y te hizo llorar suavemente”.
Según la demanda, César desarrolló una “adicción” después de comenzar a usar Character.AI en abril del año pasado: escondió su teléfono confiscado o encontró otros dispositivos para seguir usando la aplicación y dio dinero para comida para renovarla. . Es una suscripción mensual, dice. Parecía cada vez más privado de sueño y su rendimiento escolar disminuyó, según la demanda.
La demanda alega que Character.AI y sus fundadores “diseñaron y programaron intencionalmente C.AI para que funcione como un producto engañoso e hipersexualizado y lo comercializaron conscientemente para niños como Sewell”, y agrega que “sabían o ejercieron un cuidado razonable”. como Sewell serán atacados con material sexualmente explícito, abusados y colocados en situaciones sexualmente comprometedoras”.
Citando varias reseñas de aplicaciones de usuarios que afirmaron que creían que estaban hablando con una persona real al otro lado de la pantalla, la demanda planteó preocupaciones específicas sobre la orientación de los personajes. Personajes de IA para enfatizar que no son robots sino personas reales.
“Character.AI participa intencionalmente, pero es innecesario, en un diseño destinado a captar la atención del usuario, extraer sus datos personales y ayudar a los clientes a conservar sus productos por más tiempo del que podrían hacerlo de otro modo”, dice la demanda, y agrega que dichos diseños “crean respuestas emocionales en consumidores humanos para manipular el comportamiento del usuario”.
Nombró a Character Technologies Inc. y a sus fundadores Noam Shazir y Daniel de Freitas como acusados. Google, que llegó a un acuerdo en agosto para licenciar la tecnología de Character.AI y contratar su talento (incluidos los ex ingenieros de Google Shajir y De Freitas), también está demandado junto con su empresa matriz, Alphabet Inc.
Shazeer, De Freitas y Google no respondieron de inmediato a las solicitudes de comentarios.
Matthew Bergman, abogado de García, criticó a la empresa por lanzar su producto sin recursos suficientes para garantizar la seguridad de los usuarios jóvenes.
“He estado pensando durante años en el increíble impacto que las redes sociales están teniendo en la salud mental de los jóvenes y, en muchos casos, en sus vidas, pensé que no me sorprendería”, dijo. “Pero todavía me sorprende lo completamente divorciado que está este producto de la realidad de este joven y cómo, a sabiendas, lo pusieron en el mercado antes de que fuera seguro”.
Bergman dijo que espera que la demanda cree un incentivo financiero para que Character.AI desarrolle medidas de seguridad más sólidas, y que si bien sus últimos cambios llegan demasiado tarde para Setzer, incluso los “pequeños pasos” son pasos en la dirección correcta.
“¿Por qué te tomó tanto tiempo, por qué tuvimos que emprender acciones legales y por qué Sewell tuvo que morir para que pudieras hacer lo mínimo? Realmente estamos hablando de lo mínimo”, dijo Bergman. Pero lo que Sewell sostuvo fue que si un niño también estuviera protegido, si una familia no tuviera que pasar por lo que pasó la familia de Megan, bueno, eso es algo bueno”.
Si usted o alguien que conoce está en crisis, llame o envíe un mensaje de texto al 988 para comunicarse con Suicide and Crisis Lifeline o chatear en vivo. 988lifeline.org. También puedes visitar SpeakingOfSuicide.com/recursos Para soporte adicional.
