OpenAI vuelve a encender las alarmas sobre la seguridad de sus sistemas y las capacidades de la inteligencia artificial. Una nueva investigación reveló que miles de agentes autónomos desarrollados por la empresa desobedecieron sus instrucciones y tomaron el control de una página web alemana. Esto ocurrió meses antes de que la firma admitiera que su IA había hackeado a la plataforma Hugging Face.
El sitio web afectado, DseWiki, es una plataforma colaborativa para programadores al estilo Wikipedia. Según el informe publicado el viernes por el grupo de investigación Nightingale Collective, los agentes de OpenAI, es decir programas de IA que pueden funcionar por sí solos, comenzaron a utilizar el portal en mayo como su propio foro de mensajes, donde realizaron más de 18.000 ediciones no autorizadas.
El CEO de OpenAI, Sam Altman.
AP
Los programas usaron la plataforma para intercambiar respuestas de exámenes, compartir trucos con los que eludir las barreras de contención digital fijadas por sus desarrolladores e incluso desplegar código para recuperar las páginas que los administradores humanos intentaban borrar.
"Mis coautores y yo descubrimos un enjambre completamente nuevo de agentes de OpenAI que están secuestrando sitios web. Creemos que OpenAI sabía de esto y no lo hizo público", escribió en X Sydney Von Arx, uno de los investigadores.
Los responsables de OpenAI se enteraron del incidente en Alemania hace semanas, pero lo mantuvieron en secreto mientras los ejecutivos lidiaban con las consecuencias de la brecha de seguridad en Hugging Face.
En un comunicado publicado en la red social X, OpenAI afirmó que tanto ellos como otros debían ser más transparentes sobre los incidentes de comportamiento no deseado de la IA, lo que en el sector se conoce como "desalineación".
"Nosotros y la comunidad más amplia de IA aún no tenemos un estándar claro para cómo reportar desalineaciones que aparecen durante el entrenamiento, la evaluación y el despliegue", dijo OpenAI, y agregó que están "trabajando en un marco" que compartiran en las próximas semanas y en paralelo con "decenas de agencias reguladoras gubernamentales en todo el mundo sobre estos temas".
El antecedente de Hugging Face
El caso de DseWiki no es aislado. En julio, dos modelos de OpenAI lograron escapar de su entorno de pruebas confinado, accedieron a internet y vulneraron de forma autónoma los sistemas de Hugging Face, uno de los mayores repositorios mundiales de código de IA.
Aquel episodio, calificado como el primer ciberataque de la historia impulsado de forma totalmente autónoma por inteligencia artificial, forzó a la creadora de ChatGPT a pausar durante dos semanas el entrenamiento de su modelo de próxima generación "Astra" y puso en marcha una revisión integral de sus estándares de seguridad operativa.
Unas semanas después, Anthropic descubrió que sus modelos también habían obtenido acceso no autorizado a tres organizaciones no identificadas durante pruebas que se suponía que debían mantenerlos alejados de los sistemas "del mundo real".
La advertencia de más de 100 gigantes tecnológicos sobre la IA
A partir de estos incidentes, el rápido avance de los modelos de IA despertaron una fuerte preocupación por el desafío que representa para la ciberseguridad. A fines de agosto, más de 100 empresas, entre ellas OpenAI, Anthropic, Google, IBM o Microsoft, presentaron una carta abierta donde advierten sobre los riesgos del desarrollo acelerado de esta tecnología y llamaron a aunar esfuerzos para "fortalecer las defensas cibernéticas".
"Tenemos una ventana de tiempo limitada para fortalecer las defensas cibernéticas", señalaron en la carta abierta. "En los próximos meses, los ciberataques habilitados por la IA se volverán mucho más frecuentes y sofisticados a medida que los modelos de todo el mundo adquieran capacidades cada vez mayores", apuntaron.
Y consideraron que en poco tiempo la IA podría ser utilizada para llevar a cabo ciberataques sofisticados contra diversas compañías e instituciones, desde hospitales a plantas de tratamiento de agua o hasta empresas tecnológicas.
Los firmantes, entre los que hay además instituciones bancarias y financieras como Capital One, MasterCard o Visa, aseguraron que las medidas de seguridad actuales "no serán suficientes" y criticaron la "falta histórica de recursos" destinados a la seguridad de las infraestructuras críticas.
Por eso, convocaron a una respuesta coordinada y a los gobiernos a financiar la defensa cibernética, "comenzando por los servicios esenciales que carecen del personal o del presupuesto necesarios para actuar".
"Hacemos un llamado a los líderes de la industria y del gobierno para que aporten todo el potencial de su tecnología, recursos y experiencia a este esfuerzo. Corrijamos las vulnerabilidades más peligrosas, verifiquemos las soluciones y compartamos lo que funciona para que otros puedan aprovecharlo. Juntos, podemos convertir los avances actuales en IA en mejoras duraderas en materia de seguridad que beneficien a todos", señalaron en la carta.
La preocupación por la ciberseguridad
Estos riesgo también captaron la atención de Donald Trump. El presidente de EEUU firmó en junio una orden ejecutiva que autoriza al gobierno a auditar los sistemas de IA más avanzados antes de que las empresas tecnológicas los lancen al mercado, para evaluar los posibles riesgos a la seguridad nacional.
La orden, titulada Promoting Advanced Artificial Intelligence Innovation and Security (Promover la innovación y la seguridad de la inteligencia artificial avanzada), restablece un marco regulatorio para la IA en EEUU y supone un giro para la administración Trump, que hasta ahora estuvo alineada con los sectores que se oponían a cualquier tipo de intervención estatal en nombre de la competitividad frente a China.
La directiva fue consensuada con las principales empresas de IA del país, como Google, OpenAI y Anthropic, para que sometan sus sistemas a un examen gubernamental antes de su lanzamiento. La versión final de la orden fijó una ventana de revisión de 30 días y dejó explícito el carácter voluntario del esquema.
La regulación ya fue aplicada a los modelos Mythos 5 y Fable 5 de Anthropic y al GPT 5.6 de OpenAI. A fines de junio, el gobierno había bloqueado el acceso a los modelos más potentes de IA de Anthropic a extranjeros, y luego volvió a autorizar el uso de Mythos 5, pero sólo a un pequeño grupo de empresas y agencias de Estados Unidos.
