Prohíben un chatbot que reemplazó a humanos en atención de quienes sufren trastornos alimenticios

La Asociación Nacional de Trastornos de la Alimentación (NEDA, por sus siglas en inglés) de los Estados Unidos se vio obligada a terminar con Tessa, el chatbot de IA con el que estaba reemplazando a personas que de modo voluntario atendían la línea de ayuda.

La decisión fue tomada después de que los usuarios informaran que Tessa estaba brindando consejos dañinos. La activista del Peso Inclusivo Sharon Maxwell publicó en Instagram que el chatbot de NEDA le había ofrecido como consejos de alimentación saludable y de pérdida de peso dietas de entre 500 y 1.000 calorías diarias, así como la recomendación de pesarse y medirse semanalmente.

Sin embargo, los consejos de Tessa van en contra de los que brindan médicos y nutricionistas, quienes consideran que una dieta moderada tiene cinco veces más probabilidades de desarrollar un trastorno alimentario.

Por el contrario, quienes hacen una dieta muy fuerte, tienen hasta 18 veces más de posibilidades de tener un trastorno de alimentación.

En un primer momento, ante las advertencias de usuarios y consultantes, NEDA dijo que lo denunciado era mentira. Aunque cuando se hicieron virales las respuestas de Tessa, la organización cambió de estrategia y se vio obligada a rectificarse.

Las capturas de pantalla de las consultas y respuestas del chatbot resultaron indiscutibles. NEDA publicó que el chatbot “pudo haber dado información dañina”: “Estamos investigando y eliminamos este programa hasta nuevo aviso”. Con el correr de los días, NEDA decidió que Tessa dejaría de funcionar. A partir de entonces, la línea de ayuda es tendida por personas.

Tessa fue diseñado para trabajar específicamente con personas que tengan problemas de salud mental y prevenir trastornos alimentarios en población que normalmente no pide ayuda ni accede a tratamientos.

Según explicó al presentarlo Ellen Fitzsimmons-Craft, la psicóloga y profesora de la facultad de Medicina de la Universidad de Washington en Saint Louis que lideró el desarrollo de Tessa, se trata de un chatbot basado en reglas. Esto es, se lo programó con un conjunto limitado de posibles respuestas. “No puede descarrillarse, por así decirlo”, consignó la psicóloga para reducir el efecto negativo que causaron los malos consejos de Tessa.

No obstante, el problema se hizo más complejo cuando parte del propio equipo que diseñó el chatbot advirtió que un estudio demostraba que Tessa “en ocasiones, reforzaba inesperadamente los comportamientos dañinos”. Es decir, hacía lo inverso de lo que se esperaba de ese dispositivo de IA.

Luego, otra investigadora, la psicóloga especializada en trastornos alimentarios Alexis Conason, también probó la línea atendida por el chatbot y publicó imágenes de la conversación en @theantidietplan, su perfil en Instagram, para demostrar que fomentaba comportamientos poco saludables.

A raíz de estas fallas, la directora ejecutiva de NEDA, Liz Thompson, dijo a la revista Vice que el chatbot se entrenó para abordar problemas de imagen corporal utilizando métodos terapéuticos y que más de 2.500 personas habían interactuado con la línea de ayuda atendida por Tessa sin que hubiesen recibido quejas hasta el momento.

No obstante, admitió que “estamos trabajando con el equipo de tecnología y el equipo de investigación para analizar esto más a fondo y corregir el error”. La OMS ya había advertido de los riesgos del uso de chatbots de IA en temas de cuidado médico, ya que los datos usados para entrenar esos modelos pueden estar sesgados y generar información engañosa que cause daño a los pacientes.

(Con información de agencias)