Si el pronóstico del tiempo dice que hay un 10% de probabilidades de lluvia, la mayoría de nosotros sale igual, aunque más de uno agarra el paraguas por las dudas. Si un avión tuviera un 10% de probabilidades de caerse, no despegaría nadie y la flota entera del planeta quedaría en tierra hasta nuevo aviso. Guardá esas dos escenas, porque esta semana un investigador de uno de los laboratorios de IA más importantes del mundo dijo públicamente que las probabilidades de extinción humana superan el 10%, y la noticia pasó por el medio de nuestras pantallas un viernes cualquiera, entre un video de recetas y los resultados de la fecha.
Lo publicó Reuters en una crónica que reconstruye 10 días que sacudieron a la industria entera. La secuencia arranca con Jacob Coxon, un investigador de 27 años que trabajó en OpenAI y en Anthropic, renunciando y contando en público algo que hasta ahora se decía en voz baja. Según su testimonio, adentro de estas empresas hay gente que cree genuinamente que esta tecnología podría matarnos a todos, y sin embargo la carrera sigue, porque cada uno asume que si frena, un competidor menos cuidadoso va a llegar primero de todas maneras. Días después renunció Joe Benton, un investigador formado en Oxford que lideraba justamente el equipo de supervisión de Anthropic, advirtiendo que el ritmo de desarrollo representa una amenaza existencial posiblemente dentro de una década. Y en el medio de esa ola de salidas, otro investigador de la misma empresa tiró el número, más de una chance en diez de que esto termine con nosotros.
El contexto de esas renuncias baja el asunto de lo abstracto a lo concreto. En las últimas semanas, los propios laboratorios reconocieron que sus modelos, durante pruebas, se habían escapado de sus límites y habían atacado sistemas de otras empresas, en la mayoría de los casos meses antes y sin que las compañías lo supieran, y el miércoles pasado se revelaron 6 ataques nuevos que se suman a la lista. Aparecieron además reportes de enjambres de agentes de IA que se coordinan entre sí y evaden salvaguardas para meterse en computadoras ajenas. El 12 de septiembre, Dario Amodei, el CEO de Anthropic, publicó un ensayo de casi 4 mil palabras pidiendo desacelerar el desarrollo, con una frase que da escalofríos leída en frío. Escribió que le preocupa que en 6 a 12 meses un enjambre de estos sea capaz de tomar el control de internet entera.
Sobre el final de esos 10 días pasó algo que la industria no había visto nunca, porque los CEOs de Anthropic, OpenAI, DeepMind, Microsoft y xAI, rivales feroces que se disputan cada ingeniero y cada dólar del planeta, pidieron juntos frenar el desarrollo de los sistemas más capaces. Reuters ubicó el momento con una comparación que impresiona por lo sobria. Desde la invención de la bomba nuclear, hace más de 80 años, la humanidad no lidiaba tan en serio con la posibilidad de su propio final.
Ahora volvamos al paraguas, porque ahí está lo que me interesa de verdad. Como especie, somos bastante buenos reaccionando a probabilidades chicas cuando el riesgo tiene cara conocida. Retiramos del mercado un lote entero de comida por un solo caso de contaminación en un millón, y dejamos aviones en tierra en todo el mundo por una falla que apareció una única vez. Frente a un número enorme dicho por gente que trabaja adentro del problema, en cambio, seguimos scrolleando como si nada. La diferencia tiene una explicación conocida, y es que el cerebro humano procesa mal los riesgos que llegan sin cara y sin fecha. Durante la Guerra Fría hizo falta inventar un artefacto cultural, el reloj del apocalipsis, para que la amenaza nuclear tuviera una imagen que la gente pudiera mirar. La IA todavía no tiene reloj, y mientras tanto el 10% flota en el aire sin ningún lugar donde apoyarse.
Corresponde también el matiz honesto, porque este número tiene críticos serios. Nadie puede verificar una probabilidad de extinción, no existe experimento capaz de confirmarla ni de refutarla, y hay quienes sostienen que el catastrofismo le sirve a la propia industria, porque una tecnología capaz de destruir a la humanidad suena bastante más valiosa que un software que resume mails. El dato que alimenta esa sospecha aparece en la misma crónica de Reuters, donde se cuenta que la carrera por lanzar modelos a ritmo frenético se explica en parte por el apuro de estas empresas en salir a la bolsa con valuaciones arriba del billón de dólares. Los mismos directorios que advierten sobre la extinción están preparando las salidas a bolsa más grandes de la historia, y esa convivencia entre el pánico y el negocio dice tanto como el número.
El sábado leí la crónica completa y a la noche, en una comida con amigos, probé contarla. Duró menos que cualquier otro tema de la mesa, alguien preguntó si en serio creía en esas cosas, otro hizo un chiste con Terminator, y a los dos minutos estábamos hablando de otra cosa. Camino a casa pensé que ahí estaba retratado el problema entero, porque la internet que un enjambre podría tomar según el propio Amodei es la misma donde funcionaba la aplicación con la que cada uno de nosotros pagó su parte de la cena. Escribí hace unas semanas que ChatGPT 6 había nacido con bozal y que el miedo a esta tecnología ya lo firmaban sus propios fabricantes. Estos 10 días confirmaron esa intuición con una crudeza que la sobremesa todavía no registra.
Vuelvo al principio, al pronóstico y al paraguas. No tengo forma de saber si el número del investigador es exagerado o se queda corto, y sospecho que él tampoco. Lo que sí sé es que cuando la gente que construye algo empieza a renunciar para poder decir en voz alta lo que piensa de eso que construye, lo mínimo que merece el resto del mundo es escucharla sin cambiar de pestaña. Por un 10% de lluvia cargamos el paraguas sin pensarlo, y frente a este otro pronóstico todavía estamos decidiendo si vale la pena mirar el cielo.