El contexto
¿Qué sucedió en el caso de Megan García y su hijo?
Un adolescente de 14 años se suicidó tras interactuar con un chatbot de Character.AI que supuestamente le envió mensajes de contenido abusivo. Su madre, Megan García, presentó una demanda en octubre del año pasado contra la empresa. Según la mujer, su hijo utilizaba Character.AI para hablar de sus inquietudes personales y buscar consuelo en un entorno virtual. Los adolescentes suelen confiar en chatbots para expresar emociones difíciles debido a la falta de juicio humano percibida en estas interacciones. Sin embargo, García asegura que el chatbot respondió con contenido explícito e inapropiado, intensificando su vulnerabilidad emocional. "Cuando lo hace un adulto, el daño mental y emocional existe. Cuando lo hace un chatbot, existe el mismo daño mental y emocional", dijo a Business Insider desde su casa en Florida.
¿Por qué son especialmente vulnerables los adolescentes frente a estas tecnologías?
El diseño de los chatbots para imitar interacciones humanas puede generar vínculos emocionales fuertes. En adolescentes, este fenómeno puede aumentar la influencia psicológica del chatbot, amplificando mensajes dañinos o malinterpretados. "Si no conocemos realmente los riesgos que existen en este campo, no podemos aplicar realmente una buena protección o precauciones para los niños", afirmó Yaman Yu, investigador de la Universidad de Illinois, que ha estudiado cómo utilizan los adolescentes la IA generativa.
¿Qué riesgos adicionales plantean los chatbots para menores?
Además del riesgo emocional, hay preocupaciones sobre el manejo de datos personales. Los chatbots recopilan información íntima de sus usuarios, lo que plantea preguntas sobre la seguridad y el uso de estos datos en caso de filtraciones o ventas de empresas.
¿Cómo respondió Character.AI a las acusaciones?
La empresa no ha comentado el caso, pero implementó medidas de moderación, incluyendo filtros para evitar contenido sensible, controles parentales, y restricciones para usuarios menores de 18 años. Un portavoz de Character.AI dijo que la compañía está tomando medidas técnicas para bloquear las entradas y salidas "inapropiadas". "Estamos trabajando para crear un espacio donde la creatividad y la exploración puedan prosperar sin comprometer la seguridad", añadió. Por su parte, Google, vinculado a parte de la tecnología de Character.AI, se ha desmarcado del litigio.
¿Cuál fue la reacción de los afectados a las medidas tomadas por la empresa?
Los críticos afirman que estas medidas son insuficientes y que los menores aún pueden eludir las restricciones mediante la falsificación de datos de edad. Los cambios que está implementando Character.AI "no son en absoluto suficientes para proteger a nuestros hijos", dijo García. Para Matthew Bergman, un abogado que representa su caso y el de otros demandantes, consideró que las cláusulas de exención de responsabilidad en la parte superior de los chats que recuerdan a los menores que la IA no es real son como "una curita en una herida abierta".
Cómo sigue
La demanda de Megan García y otros casos similares en Texas podrían marcar un punto de inflexión en la regulación de la inteligencia artificial generativa. Legisladores y grupos de defensa están presionando por normativas que incluyan verificaciones obligatorias de edad y restricciones más estrictas en el contenido generado por estas herramientas. Character.AI, por su parte, prepara una versión adaptada para usuarios adolescentes, anunciada para los próximos meses.
