Alertan contra el “riesgo de extinción” que plantea el desarrollo sin control de la IA

La oración dice: "Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto con otros riesgos a escala social como las pandemias y la guerra nuclear".

El preámbulo de la declaración es un poco más extenso y afirma que “muchas personas están discutiendo un cada vez más un amplio espectro de riesgos importantes y urgentes de la IA".

Aun así, para el grupo, “puede ser difícil expresar preocupaciones sobre algunos de los riesgos más graves de la IA y la siguiente declaración sucinta tiene como objetivo superar este obstáculo y abrir el debate".

La declaración "también está destinada a crear un conocimiento común del creciente número de expertos y figuras públicas que también toman en serio algunos de los riesgos más graves de la IA avanzada".

Dos de los tres llamados "padrinos de la IA" que compartieron el Premio Turing 2018 por su trabajo en aprendizaje profundo, Geoffrey Hinton y Yoshua Bengio, se ubican a la cabeza de la lista de firmantes.

El tercero, Yann Le Cun, que trabaja en Meta, la empresa matriz de Facebook propiedad de Mark Zuckerberg, no firmó la declaración.

Otros firmantes fueron El CEO de DeepMind de Google, Demis Hassasbis, y el CEO de OpenAI (la compañía detrás del chatbot ChatGPT) Sam Altman y el CEO de la compañía de IA Anthropic, Dario Amodei.

La lista de firmantes incluye también a varios académicos y empresarios, muchos de ellos trabajando en empresas como Google y Microsoft, junto a otras personalidades famosas como la expresidenta de Estonia Kersti Kaljulaid, el neurocientífico Sam Harris, y el cantante y compositor de pop canadiense Grimes.

La carta se publicó coincidiendo con la reunión del Consejo de Comercio y Tecnología de Estados Unidos y la Unión Europea en Suecia, donde se espera que políticos y especialistas tecnológicos debatan sobre la posible regulación de la IA.

Los funcionarios de la UE también informaron que el jefe de la industria del bloque, Thierry Breton, sostendrá una reunión con Sam Altman en San Francisco el próximo mes. Se espera que los dos discutan cómo la compañía implementará el primer intento del bloque para regular la inteligencia artificial, que entrará en vigor en 2026.

La oración que alerta sobre los riesgos asociados con la IA no mencionó cuáles eran esos riesgos potenciales, qué tan severos se consideran, cómo mitigarlos o quién debería ser responsable de hacerlo, excepto por decir que "debería ser una prioridad mundial".

Antes de publicar la declaración, el CASI publicó comentarios recientes de Yoshua Bengio, director del Instituto de Algoritmos de Aprendizaje de Montreal, que teoriza sobre cómo una IA podría representar una amenaza existencial para la humanidad.

Bengio argumenta que, en poco tiempo, las IA deberían poder perseguir objetivos tomando acciones en el mundo real, algo que aún no se ha intentado, excepto en espacios más cerrados, como sucede con juegos populares como el ajedrez y el go. Y en ese punto, dice que sería posible que una IA superinteligente persiga objetivos que entren en conflicto con los valores humanos.

Bengio identifica cuatro formas en que una IA podría terminar persiguiendo objetivos que podrían chocar seriamente con los mejores intereses de la humanidad.

El principal es la humanidad misma: la perspectiva de un actor humano malévolo que instruye a una IA para que haga algo malo. Hay usuarios, por ejemplo, que ya le han pedido a ChatGPT que formule su plan para lograr la dominación mundial.

Otra posibilidad es que una IA podría entender erróneamente un objetivo u objetivos especificados y de ahí sacar conclusiones y tomar acciones equivocadas.

También podría suceder que una IA que presente sus propios subobjetivos, en busca de un objetivo más amplio establecido por un humano, que podría ayudarlo a lograr el objetivo, pero a un costo demasiado alto.

Finalmente, y probablemente mirando un poco más hacia el futuro, Bengio dice que las IA eventualmente podrían desarrollar una especie de presión evolutiva para comportarse de manera más egoísta, como lo hacen los animales en la naturaleza, para asegurar su supervivencia y la de sus compañeros.

Las recomendaciones de Bengio sobre cómo mitigar estos riesgos incluyen más investigación sobre la seguridad de la IA, tanto a nivel técnico como político.

También recomienda prohibir a las IA que persigan objetivos y acciones del mundo real por el momento, y concluye que "no hace falta decir" que las armas autónomas letales "deben prohibirse absolutamente".

(Con información de agencias)