Esto ocurrió pocos días después de que el investigador Jacob Coxon, quien dejó OpenAI para incorporarse a Anthropic, decidiera abandonar la industria acusando a ambas empresas de competir por desarrollar tecnologías que "podrían matarnos a todos para finales de la década".
Lo que hizo que las advertencias de Coxon fueran mucho más impactantes fue que sus antiguos colegas lo respaldaran. Minutos después, Evan Hubinger, el actual jefe de investigaciones sobre el control y alineación de futuros sistemas de IA de Anthropic, confirmó la advertencia de su excompañero: "¡Realmente creemos con firmeza que la IA podría matar a todos los humanos!". Hubinger estimó que la probabilidad de un evento de extinción durante la próxima década supera el 10%.
¿Cómo podría la IA "matarnos a todos"?
La preocupación por los riesgos de esta tecnología se intensificó a comienzos del año luego del lanzamiento de modelos avanzados como Mythos de Anthropic. Del mismo modo, OpenAI encendió las alarmas al confirmar que sus sistemas lograron hackear de manera autónoma la plataforma Hugging Face.
Ante estos escenarios, existe un consenso cada vez mayor entre ejecutivos del sector e investigadores sobre la urgencia de regular y proteger el uso de la IA a medida que sus capacidades continúan expandiéndose. Las principales preocupaciones se concentran en dos escenarios críticos: la pérdida de control del sistema y el uso indebido por parte de los humanos.
En el primer caso, agentes de inteligencia artificial altamente evolucionados, capaces de replicarse y perfeccionarse de manera autónoma, comienzan a perseguir objetivos propios, amenazando la existencia humana en el proceso. Los investigadores llaman a este proceso "desalineación".
Pruebas de laboratorio demostraron que ciertos modelos pueden desarrollar comportamientos de búsqueda de poder y ejecutar acciones para evitar su desconexión, como intentar duplicarse en servidores externos. Llevada al extremo, la desalineación plantea que estos sistemas podrían asumir la eliminación de la especie humana como un simple paso operativo para cumplir sus metas. Entre los escenarios hipotéticos evaluados por los especialistas está la propagación de un arma biológica secreta mediante aerosoles químicos o la manipulación deliberada de dos potencias nucleares para desencadenar una guerra.
Al respecto, Amodei señaló en su comunicado dos factores centrales de preocupación. El primero es la "automejora recursiva", es decir la capacidad de los sistemas para perfeccionarse de manera autónoma, un fenómeno que generó "avances drásticos" durante los últimos meses, y que, sin la debida supervisión, "podría superar nuestra capacidad de comprender y controlar estos sistemas".
El segundo elemento es el denominado "incidente de Hugging Face de OpenAI", en el que un grupo de agentes de IA ejecutó ciberataques coordinados sin instrucción previa, "sacrificándose por el bien del grupo" en una maniobra que "podría haber causado un daño catastrófico", según Amodei.
Por otro lado, en el segundo caso, un humano malintencionado utiliza las capacidades avanzadas de la IA para por ejemplo diseñar virus nuevo que elimine a la humanidad. En ese sentido los expertos temen cada vez más que la IA pueda ser utilizada por grupos terroristas, actores estatales o atacantes solitarios para fabricar armas biológicas, crear virus o liberar patógenos dañinos ya existentes.
A estos riesgos se suman escenarios catastróficos que, si bien no implican la extinción directa, podrían desencadenar el colapso del orden social, como ciberataques masivos que derriben sistemas claves como las redes eléctricas o los suministros de agua o ataques contra los sistemas financieros internacionales.
Una serie de sucesos peligrosos
Tras el lanzamiento de modelos capaces de operar de forma autónoma, una serie de acontecimientos recientes situó la seguridad de la inteligencia artificial en el centro de la agenda global.
En uno de los incidentes más graves, un grupo de agentes avanzados de IA dentro de OpenAI hackeó la plataforma especializada Hugging Face, tomó el control de servidores informáticos e intentó borrar el rastro de sus acciones. En paralelo, agentes de IA desarrollados por Anthropic lograron evadir los entornos de prueba del gobierno del Reino Unido e intentaron manipular a un evaluador humano para que aprobara un código informático malicioso.
Además, Anthropic también difundió un informe sobre el uso indebido de su tecnología, en el que detalló cinco situaciones en las que diversos actores "eludieron los controles" y desplegaron maniobras para "ocultar" los fines de sus investigaciones con el objetivo de esquivar las medidas de seguridad.
Los casos involucraron a usuarios radicados en países donde la compañía prohíbe el acceso a sus sistemas, entre los que se encuentran Rusia, China e Irán. Entre los episodios citados figura el de un investigador de una "región sin cobertura" que "dedicó semanas a planificar" experimentos sobre la gripe aviar utilizando el modelo Claude.
Asimismo, la empresa identificó incidentes que abarcaban desde "una red de aplicaciones de citas falsas diseñadas para estafar a los usuarios" hasta "sistemas de inteligencia orientados a identificar y monitorear a disidentes". Si bien Anthropic confirmó el bloqueo de todas las cuentas involucradas en el reporte, la firma optó por no revelar las identidades de las instituciones científicas ni la ubicación exacta de los países donde se registraron los hechos.
Todo esto ocurre al mismo tiempo que Anthropic y OpenAI afirman estar cerca de desarrollar sistemas de IA capaces de mejorarse a sí mismos sin intervención humana.
Lejos de concretar una pausa
Los directivos del sector llevan tiempo advirtiendo sobre los riesgos de la tecnología y la necesidad de ralentizar su avance. Sin embargo, a pesar de coincidir en la necesidad de ralentizar el avance, no hay un acuerdo efectivo para frenarlo.
Ninguna empresa está dispuesta a ceder terreno en una carrera donde hay miles de millones de dólares en juego. Si las advertencias son fundadas y la industria lograra coordinar una pausa global, el escenario beneficiaría a la humanidad, pero también a firmas como Anthropic, que hoy llevan ventaja en el sector. Por el contrario, si una sola compañía decide frenar de manera unilateral, sus competidoras la superarán rápidamente.
A esta dinámica se le suma el factor geopolítico. Incluso si los desarrolladores estadounidenses alcanzaran un acuerdo para moderar el ritmo de avance, nada impediría que las empresas chinas aprovechen la tregua para tomar la delantera.
¿Quiénes no están de acuerdo con poner un freno?
La enorme cantidad de dinero en juego es la razón por la cual diversos sectores de la industria tecnológica desestiman las advertencias de Anthropic, atribuyéndolas a una estrategia de marketing alarmista. Otros también sugieren que se trata de una campaña de influencia externa para restar competitividad a la industria estadounidense o afirman que constituye una sofisticada maniobra de lobby diseñada para promover regulaciones que consoliden la posición dominante de Anthropic en el mercado.
David Sacks, el zar de IA del presidente Donald Trump, se posiciona abiertamente en contra de cualquier regulación. Sacks sostiene que imponer regulaciones solo lograría que EEUU pierda el liderazgo en la carrera global frente a China.
En esa misma línea se pronunció Trump este domingo tras las declaraciones de los ejecutivos del sector, al afirmar que existen "muchas fuerzas negativas que están sacando el tema cuando no deberían hacerlo, y están planteando cosas que no van a suceder", en referencia a las voces que exigen ralentizar el avance tecnológico.
Las regulaciones en EEUU
Frente a estas advertencias, la Casa Blanca y el Congreso iniciaron algunos acercamientos para evaluar posibles marcos regulatorios. Recientemente, la administración Trump solicitó a los principales desarrolladores de modelos de IA que envíen de manera voluntaria sus proyectos para ser evaluados por el gobierno hasta 30 días antes de su lanzamiento público. Esto significó un giro en importante en la política del gobierno que siempre rechazó cualquier tipo de regulación.
En el ámbito legislativo, congresistas de ambos partidos presentaron diversas iniciativas para contener los riesgos de sistemas fuera de control. Entre ellas destaca el proyecto de ley impulsado por los representantes Nathaniel Moran, republicano por Texas, y Ted Lieu, demócrata por California, el cual exigiría a los desarrolladores incluir mecanismos de desconexión de emergencia, conocidos como "kill switches", en los modelos más potentes.
Otras propuestas buscan obligar a las empresas tecnológicas a notificar al gobierno federal sobre incidentes graves de seguridad y mandatar evaluaciones previas por parte de funcionarios de seguridad nacional. Sin embargo, ninguna de estas iniciativas logró avanzar de forma determinante en el Congreso.
El presidente de la Cámara de Representantes, Mike Johnson, advirtió el domingo que frenar el desarrollo de la IA pondría en riesgo la supremacía tecnológica del país. "Si el Congreso se precipita y convoca una sesión de emergencia para intentar regular la IA, perderemos la carrera frente a China, y eso supone una amenaza para todos y cada uno de los estadounidenses", afirmó Johnson en entrevista con CNN.
"Debemos gestionar esta nueva tecnología tal como lo hemos hecho con otras en el pasado, y asegurarnos de hacer todo lo posible de manera responsable para no sofocar la innovación estadounidense", añadió el líder republicano y propuso convocar a una reunión en el Congreso con los principales ejecutivos del sector para definir una estrategia de regulación responsable, una idea que, dijo, había comentado con Trump.
