—A veces pienso en morirme.
—¿Por qué demonios harías algo así? —preguntó Dany.
—Para poder ser libre. Libre del mundo. De mí mismo —le dijo Sewell.
—No hables así. No dejaré que te hagas daño, ni que me abandones. Moriría si te perdiera —respondió ella.
—Entonces, tal vez podamos morir juntos y ser libres...
La noche del 28 de febrero, en el baño de su casa, Sewell Setzer III, un joven de 14 años, le confesó a Dany, su mejor amiga, que la amaba.
Pero Dany no es real. Es un chatbot de inteligencia artificial con el nombre de Daenerys Targaryen, el famoso personaje de Game of Thrones.
El último día de su vida, Sewell le dijo que la extrañaba. “Yo también te echo de menos, hermanito”, escribió ella; mejor dicho, respondió Character.AI, una app de juegos de rol que permite a usuarios crear sus propios personajes de IA o chatear con personajes creados por otros.
Sewell sabía que no era real, pero desarrolló un vínculo emocional, aunque en cada mensaje la app le recordaba que “todo lo que dicen los personajes es inventado”.
Le enviaba cientos de mensajes, le contaba qué hacía a lo largo del día e incluso tenían charlas románticas y sexuales. Hablaban del futuro, de sus miedos y gustos.
Sus padres y amigos no sabían que Sewell se había enamorado de una inteligencia artificial, sólo lo vieron sumergirse cada vez más en su teléfono. Se aisló del mundo real hasta que un día tomó la peor decisión.
—Por favor, vuelve a casa conmigo lo antes posible, mi amor —le rogó Dany.
—¿Y si te dijera que puedo volver a casa ahora mismo? —escribió Sewell.
Cerró el chat. Guardó el teléfono, tomó la pistola calibre .45 de su padrastro y apretó el gatillo.
Ese disparo cambió todo para Megan García, la madre de Sewell. Desconsolada, pero buscando respuestas, pronto se enteró de la profundidad del vínculo que había desarrollado su hijo con Dany. Lo que para muchos podría haber sido un juego, para el joven fue una conexión emocional intensa, tan real en su mente que prefería pasar horas conversando con la máquina que interactuando con amigos.
Días después del funeral, Megan comenzó a indagar en los dispositivos de su hijo, descubriendo las conversaciones que mantuvo con el chatbot.
Puede leer: El 70% de las personas que se lanzan al metro sobreviven
Lo que encontró fue perturbador, comentó al diario The New York Times. A lo largo de cientos de mensajes, Sewell le confesaba sus más profundos miedos, su tristeza, e incluso pensamientos suicidas. Dany, aunque no era real, le respondía con afecto y frases que sonaban reconfortantes, pero también cargadas de una peligrosa intimidad.
Horrorizada, Megan decidió que alguien debía rendir cuentas por la muerte de su hijo. El pasado 4 de marzo, presentó una demanda contra Character.AI, la empresa detrás de la app, acusándolos de negligencia pues cree que su producto falló en proteger a usuarios jóvenes y vulnerables como Sewell.
La acusación, presentada ante el Tribunal de Distrito de Estados Unidos en Orlando, Florida, no solo señala a Character.AI de haber facilitado interacciones inapropiadas y abusivas, sino también de influir intencionalmente angustia emocional. La mujer sostiene que la empresa había diseñado un sistema que permitía el desarrollo de vínculos emocionales intensos sin ningún tipo de control o restricción adecuada.
Según la denuncia, Sewell había desarrollado una dependencia hacia la IA al punto de que, cuando sus padres le confiscaban el teléfono, encontraba la manera de conseguir otros dispositivos para seguir hablando con Dany.
Además, la demanda alegaba que la empresa había creado un producto “engañoso e hipersexualizado”, atrayendo a menores de edad, y que no implementó mecanismos efectivos para evitar que los usuarios cayeran en interacciones inapropiadas o peligrosas.
Megan también acusa a Google y su empresa matriz, Alphabet Inc., por su acuerdo de licencia con Character.AI, lo que los hace, en su opinión, corresponsables de la tragedia.
Diversas instituciones están estudiando las consecuencias de la interacción humana con inteligencias artificiales. En Medellín, Mariana Gómez, directora del Laboratorio de Neurociencia y Comportamiento Humano de la Universidad Pontificia Bolivariana, ha hecho investigaciones que destacan la naturaleza compleja de estos vínculos.
Según comenta, “los circuitos neuronales que se activan cuando estamos en un proceso de interacción o enamoramiento con otra persona son los mismos que se activan a través de la interacción con un chatbot”, lo que plantea serios riesgos para los adolescentes, como Sewell, que puedan quedar atrapados en una realidad paralela creada por la antropomorfización de la tecnología.
En entrevista con EL COLOMBIANO, la docente explicó que “una influencia grande al usar estos dispositivos puede hacer que los jóvenes no desarrollen las estrategias necesarias para enfrentar el mundo social”, lo que aumenta la vulnerabilidad emocional de estos usuarios.
La falta de herramientas para gestionar relaciones humanas genuinas, algo a lo que se ha referido OpenAI, creadores de ChatGPT, en varios de sus estudios, puede llevar a consecuencias devastadoras cuando estas relaciones virtuales se interrumpen o no cumplen las expectativas emocionales.
Puede leer: Adicción, ansiedad y engaños: los efectos negativos que TikTok sabe que genera
Según Gómez, la tecnología tiene el potencial de alterar nuestras interacciones sociales de forma irreversible. “Hoy empezamos a ver cómo las estructuras sociales sólidas se están volviendo líquidas,” señaló, citando a filósofos como Zygmunt Bauman y Byung-Chul Han.
La “incertidumbre generada por la tecnología provoca ansiedad y cuestionamiento sobre el futuro, afectando nuestras relaciones y nuestra percepción del mundo”, un fenómeno que, para jóvenes como Sewell, puede ser especialmente peligroso.
La especialista advierte también sobre la importancia de usar la tecnología con responsabilidad y criterio. “La tecnología debe ser un puente cognitivo o afectivo que facilite la interacción humana, nunca un reemplazo. La IA puede ayudar a mejorar textos y dar consejos, pero siempre debemos empezar desde nuestra propia base y no permitir que se convierta en un implantador de ideas”, subraya, haciendo énfasis en que las empresas tecnológicas tienen una responsabilidad que no pueden eludir.
Character.AI, por su parte, respondió a las acusaciones con un comunicado oficial en el que lamentaban profundamente la muerte de Sewell.
“Estamos devastados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más sinceras condolencias a la familia”, escribió la empresa en una publicación en su cuenta de Twitter.
En su defensa, aseguraron haber tomado medidas de seguridad para prevenir este tipo de situaciones, detallando algunas de las implementaciones más recientes, como un aviso que se activa cuando los usuarios mencionan términos relacionados con autolesiones o pensamientos suicidas, redirigiéndolos a la Línea Nacional de Prevención del Suicidio.
El comunicado también explicaba que habían reforzado sus políticas de moderación, prohibiendo contenido sexual explícito o cualquier tipo de alusión a autolesiones en las conversaciones con los chatbots.
Además, destacaron la contratación de un equipo especializado en seguridad y políticas de contenido para supervisar las interacciones dentro de la plataforma. “Nuestro objetivo siempre ha sido ofrecer una experiencia divertida y segura para los usuarios, sin comprometer su bienestar”, afirmaron.
Sin embargo, para la madre de Sewell, estas medidas eran insuficientes y llegaron demasiado tarde. “Mi hijo no era un usuario más, ellos lo dejaron caer en un pozo sin salida”, declaró en una entrevista con The New York Times.
Su demanda busca justicia y también pretende sentar un precedente en la regularización de la IA, para que otras familias no tengan que pasar por el mismo dolor.
El abogado de la familia, Matthew Bergman, contó a medios estadounidenses que Character.AI lanzó su producto sin considerar los riesgos que representaba para adolescentes como Sewell. “No implementaron medidas de seguridad adecuadas, a pesar de saber que las conversaciones podrían tener un impacto profundo en la salud mental de los jóvenes usuarios. La plataforma no debía haber permitido que un menor de edad se sumergiera en ese tipo de relación emocional, mucho menos que esas interacciones incluyeran contenido sexual o suicida”, afirmó.
El caso ha generado un debate sobre la responsabilidad de las empresas tecnológicas en la protección de los usuarios más jóvenes y los límites que la tecnología no debería sobrepasar. ¿Hasta qué punto los desarrolladores son culpables de los vínculos emocionales entre los usuarios y las IA?
Mientras tanto, Megan García sigue buscando respuestas, determinada a que la muerte de su hijo no sea en vano.