La integración de la Inteligencia Artificial con los sistemas de controles nucleares puede tener resultados catastróficos

La historia es, obviamente, una ficción, pero la posibilidad de la integración de la IA en las armas de destrucción masiva ahora es muy real. Algunos expertos dicen que los Estados Unidos debería construir un sistema NC3 utilizando IA “con decisiones de respuesta predeterminadas, que detecte, decida y dirija fuerzas estratégicas”, según escribieron los científicos Anthony Aguirre, Emilia Javorsky, Max Tegmark en el Bulletin of the Atomic Scientists.

Ya se está visualizando una integración como esta en los sistemas de comando y control convencionales: el Comando y Control Conjunto de Todos los Dominios propuso conectar sensores de todos los servicios militares en una sola red, utilizando IA para identificar objetivos y recomendar el “arma óptima”.

El Instituto Internacional de Investigación para la Paz de Estocolmo (SIPRI) exploró los riesgos clave de la integración de la IA en NC3, que incluyen: mayor velocidad del desarrollo bélico, escalada accidental, percepción errónea de intenciones y capacidades, erosión del control humano, inestabilidad del primer golpe, imprevisibilidad de la IA, vulnerabilidades de la IA a la penetración del adversario y dinámica de la carrera armamentista. La Comisión de Seguridad Nacional sobre IA advirtió que ese tipo de inteligencia “probablemente aumentará el ritmo y la automatización de la guerra en todos los ámbitos, reduciendo el tiempo y el espacio disponibles para las medidas de reducción”.

Los autores indican que este nuevo ritmo de guerra dejaría menos tiempo para que los países comprendan sus propias capacidades e intenciones o las perspectivas de sus oponentes. Esto podría conducir a una escalada involuntaria del conflicto, a una inestabilidad de la crisis e, incluso, a una guerra nuclear.

A medida que la dinámica de la carrera armamentista impulsa el progreso de la IA, priorizando la velocidad sobre la seguridad, es importante recordar que, en la carrera hacia la destrucción mutua, no hay ganador. Hay un punto en el que una carrera armamentista se convierte en una carrera suicida. Las razones para no integrar la IA en sistemas integrales de comando, control y comunicaciones (NC-3) son múltiples.

Para los autores, la IA conlleva un riesgo de escalada impredecible. Incluso si los sistemas AI-NC3 se prueban y evalúan cuidadosamente, pueden volverse impredecibles por diseño. Dos o más de estos sistemas que interactúan en un entorno complejo y antagónico pueden empujarse mutuamente a nuevos extremos, lo que aumenta en gran medida el riesgo de una escalada accidental. Y advierten que ya se vio esto con el “desplome relámpago” del mercado de valores de 2010, cuando los algoritmos comerciales adversarios borraron billones de dólares de la Bolsa de Valores en menos de una hora. El equivalente militar de ese suceso sería catastrófico.

Sin datos reales

Los sistemas de IA requieren una gran cantidad de datos en su entrenamiento, ya sean reales o simulados. Pero los sistemas de entrenamiento para conflictos nucleares requieren de la generación de datos sintéticos con información incompleta, porque se desconoce el alcance total de las capacidades de un adversario. Esto añade otro elemento de peligrosa imprevisibilidad a la combinación de mando y control.

Vulnerabilidad cibernética

Los sistemas de comando, control y comunicaciones integrados con IA también serían vulnerables a ataques cibernéticos, piratería y envenenamiento de datos. Cuando todos los datos y sistemas de los sensores están conectados en red, la falla puede extenderse por todo el sistema. Cada una de estas vulnerabilidades debe considerarse en todos los sistemas de cada nación nuclear, ya que el sistema completo es tan fuerte como su eslabón más débil.

Incertidumbre

El uso generalizado de la IA para crear información errónea ya está nublando lo que es real y lo que es falso. La incapacidad de discernir la verdad es especialmente peligrosa en el contexto militar, y la información precisa es particularmente crucial para la estabilidad de los sistemas de mando y control. Históricamente, hubo canales de comunicación confiables entre los adversarios, incluso cuando también hubo campañas de desinformación en segundo plano. Cuando se automatiza más y se participa menos de persona a persona, esos canales confiables se disipan y el riesgo de una escalada innecesaria se dispara.

Deferencia humana

Si un algoritmo hace una sugerencia, la gente podría desafiarlo. Pero, ¿lo harán? Cuando los canales de comunicación confiables se cierran y el problema que se enfrenta es complejo, es natural confiar en las computadoras y los sistemas inteligentes para brindar la respuesta correcta. Desafiar una recomendación requiere la comprensión del contexto y cómo se toman las decisiones. Hoy en día, incluso los diseñadores de sistemas de IA no entienden cómo funcionan, por lo que no se debe esperar que los usuarios finales en entornos de alto estrés comprendan la complejidad de la elección de un sistema de IA y decidan que saben mejor.

En conjunto, todos estos factores sirven para debilitar el rol humano y erosionar su control al promover una deferencia extrema a la toma de decisiones de la IA. Las representaciones de humanos que pierden el control de la IA generalmente se dividen en dos categorías: IA deshonesta o uso malicioso. Pero hay una tercera forma en que los humanos pueden perder el control, y es la más realista de todas: los humanos ceden el control funcional a la IA voluntariamente bajo la ilusión de que todavía lo tienen.

Un lugar común presentado como panacea para el problema del control sobre la IA es mantener la participación humana en los circuitos. En el cortometraje Artificial Escalation, los humanos están aparentemente involucrados en las decisiones a lo largo del camino. En la práctica, sin embargo, su humanidad los lleva a ceder ante la máquina y perder el control del proceso. Tener un ser humano en el circuito no es suficiente; los países y sus ejércitos deben garantizar que los humanos mantengan un control significativo sobre las decisiones de alto riesgo.

Aguirre, Javorsky y Tegman afirman que integrar la IA en las funciones críticas de comando, control y comunicación es, por lo menos, imprudente. Y alertan: “El mundo no puede darse el lujo de ceder el control humano sobre algo tan peligroso como las armas de destrucción masiva”.