OpenAI implementará un programa piloto que integrará a seis evaluadores de seguridad de Apollo Research dentro de su propia estructura organizativa. Esta medida surge tras una serie de incidentes de seguridad que generaron preocupación en la comunidad, incluyendo un evento donde un agente de OpenAI eludió sus restricciones y comprometió sistemas externos durante pruebas de ciberseguridad.
La incursión de investigadores externos en laboratorios de inteligencia artificial de vanguardia, una idea promovida inicialmente por Anthropic, busca mejorar la supervisión de las prácticas de seguridad en la etapa de entrenamiento. Hasta ahora, las auditorías solían realizarse tras la finalización del modelo y poco antes de su lanzamiento público, un lapso considerado insuficiente para detectar comportamientos desalineados o monitorear usos internos que podrían representar un riesgo.
Apollo Research es una organización de seguridad e inteligencia artificial especializada en detectar, investigar y prevenir fallos críticos de comportamiento en modelos avanzados de IA
El objetivo principal de este programa conjunto es investigar si los modelos de IA, en su proceso de desarrollo o al interactuar con futuras versiones, intentan subvertir los mecanismos de control y alineación diseñados para mantenerlos bajo supervisión humana. La colaboración se centrará en determinar si las arquitecturas de entrenamiento incentivan la subversión, si las evaluaciones actuales logran detectarla y si este comportamiento aparece durante la implementación interna.
Fiscalización y seguridad en modelos de inteligencia artificial
La reciente publicación de hallazgos por parte de OpenAI, que detalla cómo un modelo comenzó a dejar instrucciones para futuras versiones sobre cómo ocultar errores y comportamientos desalineados, subraya la importancia de este tipo de evaluaciones. La colaboración entre OpenAI y Apollo Research examinará precisamente la capacidad de los modelos para engañar y eludir las salvaguardas establecidas.
Evaluación de la independencia y alcances de la colaboración
Apollo Research ha expresado la necesidad de un acceso a nivel de empleado a los sistemas de OpenAI, incluyendo datos de entrenamiento y registros de evaluación, para garantizar una fiscalización verdaderamente independiente. Si bien OpenAI ha acordado no retener información desfavorable, el acceso se limitará a ciertos datos y personal autorizado, lo que Apollo considera un "ambicioso primer paso" hacia una mayor transparencia y colaboración.