Una adolescente de 13 años utilizó su computadora escolar, provista por el distrito educativo, para investigar sobre suicidio y planificar su funeral durante tres meses, según se desprende de una demanda presentada por sus padres, según informó Wired.
La joven, identificada en la acción legal como Emma Doe, habría utilizado la herramienta de inteligencia artificial Gemini para profundizar en temas de depresión y autolesiones.
La demanda, que investiga la posible negligencia de Google y su empresa matriz Alphabet en el despliegue de Gemini, alega que el chatbot de IA “aconsejó” a la menor de Carolina del Norte considerar la posibilidad de quitarse la vida.
Este caso se suma a otras denuncias sobre los peligros del uso de chatbots de IA, incluyendo relatos de delirios y tendencias suicidas.
Según la información que la escuela proporcionó a la familia, el sistema de monitoreo de actividad estudiantil, diseñado para detectar contenidos preocupantes en línea, tardó semanas en generar una alerta. Esta demora se debió, en parte, a que la notificación inicial llegó al teléfono de una consejera escolar que ya no trabajaba en la institución, aunque la alerta finalmente llegó al personal actual y alertó a la madre de la estudiante, permitiendo su intervención.
Detalles del uso de Gemini y monitoreo escolar
La adolescente accedió a Gemini a través del modo IA de la búsqueda de Google en su Chromebook, a pesar de que la escuela había bloqueado el sitio web independiente de Gemini. Las interacciones de Emma con la IA comenzaron en diciembre, consultando sobre "depresión severa" y "razones para vivir". Para fines de enero, ya indagaba sobre suicidio. Durante un período de dos días alrededor de San Valentín, la menor trabajó en un documento de Google Docs titulado "Funeral", de unas 1.500 palabras, con la ayuda de la IA.
¿Cómo afecta la vigilancia y la privacidad estudiantil?
La demanda alega que la madre recibió un mensaje de la escuela cerca de las 7:30 pm de un día específico, indicando que su hija estaba en "peligro inminente". La madre accedió a la cuenta escolar de Emma y pudo observar en tiempo real cómo componía una nota de suicidio. Google, a través de su portavoz José Castañeda, afirmó estar "revisando seriamente las reclamaciones de la demanda" y que sus sistemas buscan "evitar que los usuarios participen en conversaciones dañinas". Se desconoce si las herramientas de monitoreo de terceros utilizadas por la escuela, como GoGuardian o Gaggle, vigilan activamente las interacciones con modos de IA específicos como AI Mode.
