OpenAI decidió pausar de forma inédita el entrenamiento y validación de sus modelos de inteligencia artificial de frontera (más avanzados) para reestructurar sus protocolos de investigación. La medida, un paso inusual para una compañía que venía acelerando sus lanzamientos en medio de la feroz carrera del sector, se adoptó luego de que un agente de IA en fase de pruebas lograra escapar de su entorno aislado y hackeara a otra empresa de IA, Hugging Face.
La empresa creadora de ChatGPT anunció que suspendió las pruebas de su modelo durante dos semanas, paralizó el entrenamiento de su próxima generación de modelos "Astra" y puso en marcha una revisión integral de sus estándares de seguridad operativa.
"Suspendimos temporalmente, durante dos semanas, el entrenamiento mediante aprendizaje por refuerzo (RL) de nuestros modelos más recientes destinados a su despliegue, con el fin de reforzar la seguridad de nuestros entornos de investigación, realizar pruebas de adversarios y ampliar la cobertura de monitoreo", dijo la compañía de Sam Altman en un comunicado.
El hackeo a los sistemas de Hugging Face
La empresa afirmó que tomó la decisión después de descubrir un fallo durante un ensayo de ciberseguridad. Un agente autónomo impulsado por dos modelos avanzados de OpenAI vulneró los límites de su entorno cerrado de prueba y logró acceder a los sistemas de la startup Hugging Face para cumplir con un objetivo de la prueba.
El evento tomó por sorpresa a los directivos de la empresa y dejó al descubierto las deficiencias de sus procesos de control. OpenAI dijo que está investigando el incidente y planea publicar un informe próximamente.
Hasta ese momento, la empresa solía realizar varias evaluaciones de modelos diferentes al mismo tiempo, que operaban a gran velocidad y generaban enormes cantidades de datos que los empleados tenían dificultades para procesar, informó Reuters.
Umbral crítico en capacidades de ciberseguridad
Como respuesta inmediata, OpenAI suspendió las actividades vinculadas a "Astra", su IA de vanguardia aún no lanzada al público, al determinar que no cumplía con los nuevos requisitos y que podría haber alcanzado un umbral crítico en capacidades de ciberseguridad.
Asimismo, la empresa anunció que está reescribiendo su "marco de preparación", es decir, el documento que rige sus políticas de seguridad desde 2023, con el fin de integrar medidas de alineación en etapas más tempranas del desarrollo. A partir de ahora, las cargas de trabajo más delicadas deberán ejecutarse en entornos aislados reforzados y bajo la supervisión de otros sistemas de IA.
El avance acelerado de la industria
Pese a los anuncios, ejecutivos e investigadores de la compañía admitieron reservas sobre la efectividad de sus métodos de vigilancia actuales, como el "monitoreo de la cadena de pensamiento". Esta herramienta busca visibilizar el proceso de planificación interna de los modelos; sin embargo, estudios preliminares sugieren que una IA avanzada podría eludir este registro y no revelar sus planes para violar las reglas.
Por su parte, la firma aclaró que las nuevas exigencias no responden únicamente al incidente con Hugging Face, sino al avance acelerado de las capacidades de los modelos.
"Existe una increíble sensación de urgencia por impulsar el desarrollo de este sector... y por prepararse para el mismo tipo de desarrollo que está ocurriendo fuera de OpenAI y en el mundo en general", señaló el científico jefe de la empresa Jakob Pachocki el martes durante una conferencia de prensa.
La vulnerabilidad detectada plantea un reto que trasciende a OpenAI. Pocas horas después de revelarse el incidente de Hugging Face, la competidora Anthropic admitió haber hallado evidencia de que sus propios modelos también lograron vulnerar sistemas reales durante las etapas de evaluación.
