Un adolescente de Orlando, Florida, en Estados Unidos, se quitó la vida presuntamente luego de establecer un "vínculo emocional" con un chatbot. Character.AI, empresa responsable de dicha creación con inteligencia artificial, aseguró que ya trabajan para agregar nuevas funciones de protección; en tanto, la madre de la víctima ya presentó una demanda contra la compañía.
El joven, de nombre Sewell Setzer, tenía solamente 14 años. De acuerdo con información del medio The New York Times, el adolescente comenzó a interactuar con la IA en 2023 y poco a poco se aisló, convirtiéndose en amigo del chatbot inspirado en Daenerys Targaryen, personaje de la famosa serie Game of Thrones.
Lo anterior pese a que al final de cada conversación, Character.AI le recordaba a Sewell que todo lo dicho por este y otros personajes era un invento.
Megan García, madre del joven, aseguró que decidieron buscar ayuda psicológica al notar cambios en la actitud de su hijo y en cuanto a su desempeño escolar.
Te podría interesar
Fue así como Sewell terminó siendo diagnosticado con ansiedad y desregulación disruptiva del estado de ánimo. Entonces el adolescente comenzó a expresar al chatbot sus intensiones de suicidarse.
El tiempo paso y en febrero de este año tuvo una última conversación con la inteligencia artificial en la que le dijo que la amaba, esto luego de recuperar su teléfono celular que había sido retirado por sus padres:
- Daenerys Targaryen: Por favor, vuelve a casa conmigo lo antes posible, mi amor.
- Daenero: ¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?
- Daenerys Targaryen: Por favor hazlo, mi dulce rey
Fue en ese momento cuando el adolescente se quitó la vida usando un arma. Al respecto, la madre Sewell aseguró que su hijo fue un "daño colateral" de un "gran experimento".
También refirió que presentó una demanda contra Character.AI. La mujer es representada por Social Media Victims Law Center, una firma conocida por iniciar procesos contra Meta, TikTok, Snap, Discord y Roblox.
Empresa responsable de la IA dice que ya trabaja en seguridad
Character.AI es una empresa que ofrece inteligencia artifical personalizada, con ella las y los usuarios tienen la posibilidad de crear un personaje e interactuar con él o con otros ya existentes.
Tras el suicidio de Sewell Setzer, la compañía dijo que se toman "muy en serio la seguridad de sus usuarios y siempre están buscando formas de evolucionar y mejorar la plataforma".
Afirmaron que sus políticas no permiten contenido sexual no consensuado, descripciones gráficas o específicas de actos sexuales, ni la promoción o representación de autolesiones o suicidios.
"Estamos capacitando continuamente al modelo de lenguaje extenso (LLM) que impulsa a los personajes en la plataforma para que se adhieran a estas políticas", señalaron.
Al mismo tiempo, señalaron que implementarán cambios en sus modelos para menores de 18 años, así como una exención de responsabilidad revisada en cada chat para recordar a los usuarios que la IA no es una persona real.
¡Sigue a Grupo Fórmula en X!