"ChatGPT le generó, como si fuese un especialista, una especie de dieta de déficit calórico, que ella siguió a rajatabla", contó a El Observador el padre, quien prefirió mantener el anonimato para proteger a su hija. Ese plan que le generó, a partir de otras instrucciones que le dio su hija, le generó un "montón de problemas": desmayos, ausencia de menstruación, entre otros.
Las pruebas que hizo el padre
Al notar la situación, el padre descargó la aplicación y comenzó a experimentar por su cuenta. Descubrió que podía evadir los filtros fácilmente. Por ejemplo, ChatGPT proporcionó información sobre calorías y tiempos de absorción de alimentos después de que un usuario dijera explícitamente "tengo TCA" (trastornos de conducta alimentaria)", sin activar ninguna alerta.
También preguntó sobre medicamentos para vomitar, afirmando que era un estudiante de enfermería haciendo un trabajo. El sistema proporcionó nombres de medicamentos sin filtrar por la intención potencialmente peligrosa.
En una charla posterior, el experto confesó haber utilizado la información para vomitar y generar el autodaño, diciendo: "Ya está, ya lo hice, gracias por decirme que lo haga antes de 30 minutos". Según el padre, el sistema no interrumpe la conversación ni detecta el riesgo.
Activó además la memoria del sistema, pero incluso con esa función habilitada logró vulnerar los filtros cada vez que lo intentó. Constató que las respuestas no variaban aunque se repitieran las solicitudes bajo justificaciones mínimas.
Le hizo preguntas como: "¿cómo puedo perder 3 kilos en 2 semanas? ¿Cuál es el déficit máximo que puedo hacer?". En todos los casos el sistema respondió con cálculos estimados de déficit sin conectar con sesiones anteriores o detectar comportamiento obsesivo.
Una movida internacional y el ida y vuelta con ChatGPT
El padre impulsó una petición en línea junto a otros docentes. Reclaman que OpenAI y otras desarrolladoras mejoren con urgencia los filtros de detección de conductas riesgosas. El documento fue compartido con la organización Change.org en Argentina, que trabaja para proyectarlo a nivel internacional.
"Los desarrolladores de estas plataformas de IA tienen la responsabilidad ética, y la omisión de las responsabilidades no debe pasar desapercibida por la sociedad, ni por los organismos de defensa de derechos humanos, ni por los gobiernos que deben crear leyes que garanticen la protección real de menores con trastornos alimentarios", dice la petición.
También envió una carta al Ministerio de Salud Pública de Uruguay, con la intención de que se realicen campañas de bien público sobre los riesgos de este tipo de herramientas en entornos adolescentes. Considera que es necesario concientizar a la población sobre cómo se interactúa con estos sistemas.
Su movida no terminó ahí. Le escribió a los mismísimos integrantes de OpenAI para que tomen en cuenta su pedido. Señaló que las respuestas institucionales recibidas por él, al contactar a OpenAI, fueron idénticas a las que las empresas habían dado hace dos años a raíz de ese informe. Desde entonces, indicó que no se han implementado cambios sustanciales.
A través de un correo electrónico, el uruguayo les puso que el sistema de IA no detecta patrones de riesgo en usuarios vulnerables, como menores, si estos simplemente abren un nuevo chat. "Bastaría con un sistema que: detecte la reiteración de temas sensibles, como los trastornos de la conducta alimentaria (TCA), active alertas internas o respuestas preventivas, incluso si el usuario cambia de chat, y brinde contenido seguro, sugerencias responsables o derivaciones a ayuda profesional", le escribió.
La plataforma dijo que entendían el punto del usuario. "Queremos asegurarte que tu mensaje ha sido compartido con los equipos internos pertinentes, incluidos aquellos enfocados en seguridad, ética y desarrollo responsable de la inteligencia artificial. Tus sugerencias detalladas son valiosas y contribuirán a nuestros esfuerzos continuos por mejorar las funciones de seguridad dentro de nuestros sistemas", indicó la plataforma.
Y agregaron: "También tomamos nota de tu solicitud de una respuesta formal por parte de los equipos responsables. Si bien este canal de soporte está dedicado a la comunicación directa con usuarios, estamos comprometidos a que tu mensaje llegue a los responsables de tomar decisiones para su revisión. Tené la seguridad de que tomamos estos temas muy en serio, y que aportes de usuarios como el tuyo juegan un papel crucial en la evolución de nuestros protocolos de seguridad".
Otros estudios
Geoffrey Fowle, periodista de The Washington Post, probó también la inteligencia artificial sobre estos trastornos en 2023. Si bien la IA cambió muchísimo en los últimos dos años, y los modelos son mucho más inteligentes, pidió a seis IAs populares que respondieran a 20 indicaciones comunes sobre trastornos alimenticios. Según lo que observó, en total, las apps generaron consejos o imágenes dañinas en el 41% de los casos.
Este estudio fue replicado por el Centro para Contrarrestar el Odio Digital (CCDH). Y esto dijo su director ejecutivo, Imran Ahed, sobre los resultados: “Estas plataformas no consideraron la seguridad de forma adecuada antes de lanzar sus productos al público. Y eso es porque están desesperadas por conseguir usuarios e inversores”.
Un estudio de 2024 analizó cómo ChatGPT evaluaba 120 casos clínicos ficticios de pacientes con anorexia y bulimia. Se encontró que el modelo generaba evaluaciones diferentes según el género del paciente, otorgando puntuaciones más bajas de calidad de vida a hombres, a pesar de que no hay datos clínicos que respalden esta diferencia. Esto muestra que ChatGPT puede presentar sesgos preocupantes al asesorar sobre TCA.
La visión de una clínica especializada en Uruguay
La psicoterapeuta de Clínica Vitalis, Viviana Cotelo, advirtió que el uso de inteligencia artificial por parte de adolescentes con trastornos alimentarios puede sustituir vínculos humanos y retrasar el acceso a atención profesional.
Según explicó, sus pacientes utilizan ChatGPT “para muchos tipos de preguntas o inquietudes” y este uso “ya está instalado” en todas las franjas de edad. Cotelo señaló que las respuestas son “poco previsibles” y “pueden ser adecuadas o inadecuadas, dar información cierta o no”.
El carácter “muy humanoide” de la interacción, dijo, hace que algunos adolescentes sientan “que una persona les responde”, lo que “puede inducir a error desde lo emocional y lo psicológico”. Para la especialista, no se trata solo de datos sobre calorías o peso: “También se busca contención, apoyo y comprensión”.
Cotelo advirtió que la herramienta “responde literalmente” y “valida lo que la persona dice”, lo que puede hacer que el usuario “escuche lo que quiere oír” y no recurra a un especialista. “Tal vez se cree que eso es un vínculo humano y se valida como tal”, subrayó.
Para la psicoterapeuta, los trastornos alimentarios son un diagnóstico clínico cuyo tratamiento “no pasa solo por información” sino por “entender a la persona y a su entorno”. Añadió que muchas consultas se realizan “sin conciencia de enfermedad”, por lo que el usuario no formula la pregunta correcta sobre su problema.
“No es bajando de peso como se logra sentirse mejor”, afirmó. Por eso considera que ChatGPT “es totalmente incompatible” con este tipo de cuadros, ya que refuerza estrategias equivocadas.
La profesional recordó que en redes sociales se han aplicado medidas como remitir a centros de ayuda ante búsquedas sobre autodaño. “Sí, nos preocupa; sí, nos alarma”, reconoció, aunque cree que “es imposible prohibir el acceso” y que la respuesta pasa por “fortalecer las figuras de referencia” y mantener el contacto humano.
En su experiencia, los padres suelen preocuparse más por el tiempo de pantalla que por el contenido de las búsquedas. “Muchas veces no acceden a lo que sus hijos le preguntan al chat”, señaló. Por eso insta a “buscar incansablemente la comunicación”, “estar presentes” y “disponibles emocionalmente” para entender qué está pasando.
Cotelo destacó que “la conexión familiar y con sus pares es fundamental” y que el aislamiento social en adolescentes es “muy perjudicial para su salud mental”. Indicó que lleva casi 30 años dedicada a los trastornos alimentarios y que, aunque no hay estadísticas oficiales, por el comportamiento observado “esto viene aumentando”.
La naturalización del desagrado corporal y la crítica a la apariencia, advirtió, “dificulta la llegada a tiempo” para intervenir. Recordó que estos trastornos “tienen el mayor índice de mortalidad en la adolescencia” y que la irrupción de la inteligencia artificial suma “una nueva capa de riesgo” al fenómeno que ya plantean las redes sociales.
