Las recientes historias sobre ChatGPT alentando el suicidio o fallando en intervenir apropiadamente, y la última denuncia contra OpenAI de los padres de un joven de 16 años que se quitó la vida en California, en la que responsabilizaron al chat, despertó el alerta general. En ese contexto, los creadores de chatbots de inteligencia artificial OpenAI y Meta sostuvieron que están ajustando la forma en que sus programas responden a los adolescentes que hacen preguntas sobre suicidio o muestran señales de angustia.
La empresa OpenAI, creadora de ChatGPT, prometió el martes que implementará nuevas medidas de seguridad para adolescentes y personas con angustia emocional antes de fin de año. "Hemos visto cómo las personas recurren a él en los momentos más difíciles. Por eso, seguimos mejorando la manera en que nuestros modelos reconocen y responden a señales de angustia, guiados por la opinión de expertos", dijo la empresa en un post en su blog.
"Este trabajo ya ha comenzado, pero queremos adelantar nuestros planes para los próximos 120 días, para que no tengan que esperar los lanzamientos para ver a dónde nos dirigimos", agregó y aseguró que la empresa está haciendo "un esfuerzo enfocado" para lanzar la mayor cantidad posible de estas mejoras este año.
Open AI - Sam Altman - AFP
Sam Altman, CEO de OpenAI
AFP
Entre las modificaciones pensadas para las siguientes semanas, la empresa dijo que está preparando el lanzamiento de nuevos controles que permitirán a los padres vincular sus cuentas a la cuenta de su hijo adolescente. De esta forma, los padres podrán elegir qué funciones desactivar y "recibir notificaciones cuando el sistema detecte que su hijo está pasando por un momento de angustia aguda".
Actualmente, ChatGPT redirige a los usuarios que expresan intenciones suicidas a líneas de emergencia. OpenAI dice que no remite actualmente los casos de autolesiones a las fuerzas de seguridad, debido a preocupaciones de privacidad.
Padres denuncian a ChatGPT
El anuncio se da una semana después de que los padres de Adam Raine, un adolescente de 16 años, presentaran una demanda contra OpenAI y su CEO, Sam Altman, en la cual aseguran que ChatGPT ayudó al adolescente de California a planificar y llevar a cabo su suicidio a principios de año.
Jay Edelson, el abogado de la familia, describió el anuncio de OpenAI el martes como "promesas vagas de hacer las cosas mejor" y "nada más que el equipo de gestión de crisis de OpenAI tratando de cambiar de tema". "Altman debería decir de manera inequívoca que cree que ChatGPT es seguro o retirarlo inmediatamente del mercado", dijo Edelson.
En esa misma línea, el mes pasado, la madre de una joven de 29 años publicó un artículo de opinión en The New York Times, titulado "Mi hija habló con ChatGPT antes de quitarse la vida", en el que relató cómo su hija solicitó a ChatGPT ayuda para redactar su carta de suicidio. Aunque ChatGPT no instó a la mujer a quitarse la vida, tampoco alertó sobre el riesgo de autolesiones, algo que un terapeuta habría estado obligado a hacer.
OpenAI anunció que ya había comenzado a mejorar la capacidad de sus modelos para identificar y responder a señales de angustia. En el post explica cómo la empresa implementó medidas para facilitar el acceso de los usuarios a servicios de emergencia y asistencia profesional, además de reforzar las protecciones para adolescentes y permitir la inclusión de contactos de confianza en el servicio.
"Estamos comenzando a redirigir algunas conversaciones sensibles, como cuando se detectan señales de angustia aguda, a modelos de razonamiento como el modelo de pensamiento de GPT-5", dijo la empresa en el post e informó que una red de más de 90 médicos en 30 países dará su opinión sobre los contextos de salud mental y ayudará a evaluar los modelos.
Meta prohíbe hablar de suicidio y los vínculos románticos con sus chatbots
Por su parte, Meta, la empresa matriz de Instagram, Facebook y WhatsApp, también sostuvo que se encuentra actualizando el entrenamiento de sus chatbots impulsados por IA para mejorar la seguridad de los menores y evitar que mantengan conversaciones sobre temas relacionados con autolesiones, suicidio o trastornos alimenticios, guiándoles hacia recursos especializados en su lugar, así como prohibiendo las conversaciones románticas.
La compañía dirigida por Mark Zuckerberg reconoció que actualmente los usuarios menores de edad podían mantener conversaciones sobre temas sensibles, como suicidio o autolesiones, con los chatbots de Meta AI. Además, las políticas de Meta permitían relaciones románticas con estos usuarios.
Sin embargo, Meta admitió que permitir este tipo de interacciones fue un error y anunció que implementará medidas de seguridad adicionales para evitar que los chatbots aborden estos temas con menores.
Mark Zuckerberg - EFE.jpg
EFE
La portavoz de Meta, Stephanie Otway, afirmó que, a medida que crece la comunidad y evoluciona la tecnología, la compañía va aprendiendo sobre "cómo los jóvenes pueden interactuar con estas herramientas" y refuerzan sus protecciones "en consecuencia".
En diálogo con TechCrunch, Otway anunció que añadieron más medidas de seguridad como precaución, entre las que se incluye entrenar a sus modelos de IA para que "no interactúen con adolescentes sobre estos temas, sino que los guíen hacia recursos especializados".
"Seguimos dependiendo de que las empresas se autorregulen"
Un estudio publicado la semana pasada en la revista médica Psychiatric Services encontró inconsistencias en cómo tres populares chatbots de inteligencia artificial respondieron a consultas sobre suicidio. Según informó AP, el estudio realizado por investigadores de la Corporación RAND encontró que se necesita "más refinamiento" en ChatGPT, Gemini de Google y Claude de Anthropic. Los investigadores no estudiaron los chatbots de Meta.
El autor principal del estudio, Ryan McBain, dijo el martes que "es alentador ver que OpenAI y Meta están introduciendo funciones como los controles parentales y la redirección de conversaciones sensibles a modelos más capacitados, pero estos son pasos incrementales".
"Sin puntos de referencia de seguridad independientes, pruebas clínicas y estándares aplicables, seguimos dependiendo de que las empresas se autorregulen en un espacio donde los riesgos para los adolescentes son especialmente altos", dijo McBain, investigador principal de políticas en RAND y profesor asistente en la Facultad de Medicina de la Universidad de Harvard.
