"La seguridad del usuario es una de nuestras principales preocupaciones", dijeron
Character.AI, que fuera una de las nuevas empresas de inteligencia artificial más prometedoras de Silicon Valley, anunció el jueves nuevas medidas de seguridad para proteger a los usuarios adolescentes mientras enfrenta acusaciones de que sus chatbots contribuyeron al suicidio y autolesiones de jóvenes.
En una demanda presentada en octubre en el estado de Florida, una madre afirmó que la plataforma es responsable del suicidio de su hijo de 14 años.
El adolescente, Sewell Setzer III, había mantenido una relación íntima con un chatbot basado en el personaje de "Juego de Tronos" Daenerys Targaryen, y mencionó su deseo de suicidarse.
Según la denuncia, el robot animó su acto final, respondiendo "por favor, mi dulce rey" cuando dijo que "volvería a casa" antes de quitarse la vida con el arma de su padrastro.
Character.AI "hizo todo lo posible para diseñar la dañina dependencia de Sewell (...), abusó sexual y emocionalmente de él y, finalmente, no le ofreció ayuda ni notificó a sus padres cuando expresó ideas suicidas", dice la denuncia.
Otra demanda, presentada en Texas el lunes, involucra a dos familias que alegan que la plataforma expuesto a sus hijos a contenido sexual y fomentó autolesiones.
Un caso involucró a un adolescente autista de 17 años que supuestamente sufrió una crisis de salud mental después de usar la plataforma.
Otra denuncia alega que Character.AI alentó a un adolescente a matar a sus padres por limitar su tiempo frente a la pantalla.
En respuesta, Character.AI anunció que había desarrollado un modelo de IA separado para usuarios menores de 18 años, con filtros de contenido más estrictos y respuestas más mesuradas.
La plataforma marcará automáticamente el contenido relacionado con el suicidio y dirigirá a los usuarios a la Línea Nacional de Prevención del Suicidio.
Character.AI planea igualmente introducir controles parentales desde principios de 2025, lo que permitirá supervisar el uso por parte de los niños de la plataforma.
Para los bots que incluyen descripciones como terapeuta o médico, una nota especial advertirá que no reemplazan el asesoramiento profesional.
Ambas demandas mencionan a los fundadores de Character.AI y a Google, inversor en la empresa.
Los fundadores, Noam Shazeer y Daniel de Freitas Adiwarsana, regresaron a Google en agosto como parte de un acuerdo de licencia de tecnología con Character.AI.
El portavoz de Google, José Castañeda, dijo en un comunicado que Google y Character.AI son empresas completamente separadas y no relacionadas.
"La seguridad del usuario es una de nuestras principales preocupaciones", añadió.