Gemma Galdon es una de las figuras de referencia a nivel mundial en seguridad y auditoría de inteligencia artificial. Dirige Eticas, su empresa, y vive en Estados Unidos. En esta entrevista explica por qué los sistemas de IA discriminan, cómo se detecta y por qué sostiene que lo que se llama inteligencia artificial en realidad no es inteligente.

Registrate gratis y seguí navegando

¿Ya estás registrado?

Registrate

Suscribite por USD 3,45 al mes

Suscribite

¿Cómo es que se detecta cuando un sistema de inteligencia artificial discrimina? ¿De qué forma se logra detectar?

más Noticias

Lo primero es entender cómo y por qué discriminan los sistemas de inteligencia artificial, para después ver cómo lo identificamos. Los sistemas de inteligencia artificial, que no son inteligentes, lo que hacen es tomar bases de datos enormes y encontrar sentido en esas bases de datos. Los sistemas que reproducen lenguaje aprenden la dinámica estructural del lenguaje en base a tener muchísimos textos, y de ahí derivan la relación entre las palabras. Saben que si encuentran la palabra “puerta”, lo más probable es que delante venga “la”.

Esos patrones son lo que les permite encontrar orden y sernos útiles, porque al final pueden procesar muchos más datos que un humano y darnos una información condensada y filtrada que los humanos seguramente no conseguiríamos nunca tener. ¿Qué ocurre? Que esa dinámica se basa precisamente en la identificación de patrones mayoritarios que se reproducen a costa de los patrones minoritarios. Si alguien escribe “le puerta”, el sistema aprende que lo hace muy poca gente y lo que entiende es: “si lo hace muy poca gente, no me interesa”, con lo cual lo echa de la base de datos. Los sistemas acaban teniendo una lógica self-fulfilled, no sé cómo se dice en castellano, una lógica autocumplida: si ellos reproducen que la puerta siempre va con “la”, la puerta nunca será “le puerta”.

¿El reforzamiento del lenguaje?

Exacto, porque además en los sistemas de inteligencia artificial lo que pasa muchas veces es que el output se convierte en input. Cada vez que un texto pone “la puerta”, el sistema aprende que “la puerta” es lo correcto, con lo cual ese patrón mayoritario va alimentando las nuevas bases de datos de forma automática. ¿Qué ocurre? Que dejar “le puerta” fuera está bien, porque es claramente un error gramatical. Pero en muchos ámbitos, esas formas minoritarias no son errores.

¿Como cuáles?

Por ejemplo, si vas a un hospital y hay un sistema de inteligencia artificial que determina quién se espera en la sala de espera y cuánto tiempo tenés que esperar, puede ser que si tu sintomatología no es la más común, el sistema entienda que no te pasa nada. Porque sos un outlier, sos un “le puerta” en el sistema de datos.

Podría ser gravísimo. Puede ser que tu sintomatología antes de tener un ataque al corazón sea diferente a la de la mayoría de la gente, con lo cual el sistema entiende que sos una tasa de error. Entonces, todo lo que no es un patrón mayoritario dentro de los sistemas de inteligencia artificial acaba penalizado.

Pero todo esto, en los últimos años, conforme los modelos han avanzado, ¿no ha mejorado ese sistema?

No, porque el sistema funciona así, es la base del sistema. Es como decir que, porque muchos aviones vuelan, la gravedad va a dejar de ser un problema. No, la gravedad está ahí y sigue llevándote a que el avión se caiga. Y la máxima prioridad de un avión es vencer la gravedad. Es decir, no conseguimos que el problema se vaya. El problema sigue ahí porque es la lógica de funcionamiento de la inteligencia artificial.

O sea que, desde tu perspectiva, esto va a aumentar... se va a agudizar este problema.

Siempre aumenta y siempre se agudiza, a no ser que intervengamos de forma proactiva, igual que un avión consigue incorporar elementos para asegurar que estamos siempre venciendo la ley de la gravedad.

¿Y cómo logramos eso?

Cuando hacemos auditorías, podemos introducir datos sintéticos, podemos introducir normas para asegurar que el sistema tenga visibilidad de esas dinámicas minoritarias que, aunque son minoritarias, tienen valor para la decisión que estamos tomando. Depende mucho del contexto. Si es en un ámbito médico, esas dinámicas minoritarias son unas; si es en el ámbito del trabajo, son otras. Por ejemplo, en el screening de currículums para acceder a un trabajo, muchas veces nos encontramos discriminación de mujeres, porque en trabajos técnicos el hombre es el patrón mayoritario, con lo cual el sistema tiende a penalizar a cualquier grupo que no es mayoritario. Eso lo podemos subsanar interviniendo de forma proactiva, como se interviene de forma proactiva en la inteligencia artificial de muchas otras formas.

¿Qué tareas son esencialmente humanas y qué tareas le podemos seguir delegando?

Todas las tareas son humanas. Al final, lo que hace un sistema es lo que alguien ha programado que haga. No existe autonomía en ese sentido ni capacidad de abstracción. Yo creo que el debate que el mundo tiene ahora mismo sobre la inteligencia artificial tiene mucho más que ver con la ciencia ficción y con las campañas de comunicación de los grandes laboratorios que con lo que realmente ocurre con la tecnología.

Un ejemplo muy claro, que creo que desmitifica rápidamente esta idea de que la inteligencia artificial es inteligente: si uno le muestra a un bebé de seis meses una fotografía de un gato, ese niño o niña va a saber identificar un gato de cualquier edad, en cualquier posición, de cualquier color, con cualquier contexto, toda su vida. Así es como aprendemos las personas. Tenemos una capacidad de abstracción brutal: viendo una imagen un día, somos capaces de reconocer imágenes que se le parecen toda nuestra vida. Para que un sistema de inteligencia artificial identifique a un gato, tenemos que entrenarlo con millones de imágenes de gatos en todas las posiciones, en todos los colores en los que pensemos que a futuro ese sistema se puede encontrar gatos, tenemos que jugar con los fondos, y aun así el sistema seguirá pensando que una pantera es un gato o que cualquier otro animal que se le parezca puede ser un gato. Es decir, estamos hablando de procesos totalmente diferentes. La IA son sistemas de datos que trabajan con datos y dependen de los datos que les metamos y de las normas de comprensión que les introduzcamos.

Entonces, ¿de qué manera un auditor de inteligencia artificial puede evitar la alucinación de estos sistemas?

El origen es el mismo: esa dinámica de identificar patrones mayoritarios a costa de los patrones minoritarios. Lo que hacemos cuando auditamos es precisamente ver qué patrones se están quedando atrás y si esos patrones deben quedarse atrás o no. Vemos cuáles son los atributos que está utilizando el sistema de inteligencia artificial para determinar cuáles son los patrones mayoritarios que deben sobrevivir y ser reproducidos en el sistema. Y de nuevo, muchas veces son ruido, pero muchas veces hay atributos que queremos mantener como una forma de toma de decisiones.

Un ejemplo: se hizo una auditoría hace unos años con currículums, en la que se descubrió un sistema de inteligencia artificial que estaba priorizando currículums para una gran empresa. Se descubrió que el sistema estaba agarrando los atributos “nombre Jared”, que es un nombre en Estados Unidos muy asimilado a una clase determinada, y lacrosse, que es también un deporte que se juega en las universidades de élite de Estados Unidos (mezcla de hockey y básquetbol). El sistema había identificado que entre los trabajadores existentes en la empresa había muchos Jareds y muchas personas que mencionaban haber jugado al lacrosse en su currículum. El sistema ve que hay una mayoría de menciones de esas palabras y las convierte en keywords para seleccionar a la gente del futuro. Cualquier reclutador te dirá que nadie recluta a alguien porque se llama Jared o porque juega al lacrosse, pero el sistema no sabe. El sistema lo que ve es correlación. No entiende de causalidad, entiende de correlación, con lo cual, si eso se menciona mucho, el patrón es “queremos a muchos Jareds”.

Cuando intervenimos con la auditoría, lo que vemos es cuáles son esos atributos que el sistema está privilegiando. Hacemos una revisión humana y ahí vemos que el sistema ha recogido atributos mayoritarios que no son relevantes para tomar la decisión, y lo que hacemos es quitarlos o minimizarlos a través de intervenciones técnicas dentro del sistema.

¿Cuál es tu perspectiva sobre lo que está pasando hoy con la inteligencia artificial en cuanto a su evolución? ¿Es una evolución preocupante?

Yo soy muy fan de la inteligencia artificial. A mí me ha cambiado la vida. A Eticas, mi empresa, nos ha mejorado muchísimo los márgenes de beneficio. Es una revolución, es súper útil. Pero no en el sentido en el que se habla de forma mayoritaria. Yo creo que vivimos muchas veces hablando de una inteligencia artificial que no existe y centrándonos en problemas que no son los problemas principales. A nivel de discurso o conversación popular, pero también de conversación política, estamos muy perdidos. Y para las personas que trabajamos dentro de los sistemas, a veces es un poco extraño: “¿De qué habla esta gente? No tiene ningún sentido”. La lógica de lo que hablamos ahora mismo es de lo que quieren que hablemos los grandes laboratorios.

Lo que estamos viendo nosotros es un futuro de la inteligencia artificial bastante diferente al que prevén esos laboratorios. Ellos prevén capturar todo el mercado, crear sistemas de inteligencia artificial que capturen toda la verticalidad del sistema basados en lo que son general-purpose AI, es decir, crear una plantilla básica que sirva para absolutamente todo y encima de eso generar valor. ¿Qué estamos viendo? Que la general-purpose AI es la peor forma de IA. Claude, ChatGPT, Perplexity o incluso DeepSeek, con los que uno se relaciona ahora mismo, no están fine-tuned para resolver problemas complejos. Lo que estamos viendo es que lo que más sirve es utilizar estos LLM, los large language models, como commodity, como base de sistemas, y después crear modelos pequeños específicos para tomar una decisión: reclutar mejor en mi empresa, identificar mejor los cánceres.

Aquí tenemos que salirnos de la general-purpose AI, porque, como tiene que servirle a todo el mundo –tanto a un hospital como a un centro comercial–, al final el sistema tiene muchas más tasas de error en funcionamientos específicos. Para que uno le consulte cosas en su tiempo libre está genial, pero la incorporación en entornos productivos, médicos o educativos es muy, muy, muy problemática. Con lo cual lo que vemos es que el modelo de negocio de la IA va a cambiar y que seguramente la IA que veremos dentro de cinco años tiene muy poco que ver con la que vemos ahora. Y no es un ciclo nuevo. Ya nos prometieron que las impresoras 3D iban a cambiar el mundo y se quedaron con usos muy específicos. Nos prometieron que los drones iban a cambiar la movilidad y la entrega de paquetería, y al final tienen usos muy relevantes, muy importantes, pero en entornos rurales, de difícil acceso, etcétera.

Pero también es cierto que estas empresas invierten miles de millones de dólares en marketing y en lograr fidelizar al usuario e incluso hasta hacerlo adicto en algún sentido. ¿Cómo creés que eso va a impactar al usuario? ¿Creés que eso va a suceder o que el usuario final lo va a poder repeler, digamos?

Diferenciemos entre usuario final y usuario-empresa. El negocio está en el usuario-empresa. Y aquí lo que estamos teniendo son unas tasas, no calculadas por nosotros sino por las grandes consultoras, de un 97% de fracaso de los pilotos de IA en empresa. Precisamente por no abordar esos problemas, por no hacer sistemas customizados y por no abordar las deficiencias vinculadas al sesgo.

Claro, ¿quieren poner IA pero no piensan para qué?

Exacto. Y no lo incorporan de forma estratégica, no mejoran sus datos de entrada, con lo cual los sistemas aprenden a partir de datos que igual ponen “le algo” muchas veces, porque nadie ha visto lo que hay en esos datos de entrada. Se ha vendido que la IA es inteligente y soluciona problemas, y eso no es verdad. Es un sistema de datos: como decía antes, si queremos que identifique un gato, tenemos que entrenarlo para que identifique un gato, y no tiene nada que ver con la forma de aprendizaje o de toma de decisiones humana.

Lo que veréis son muchos cambios. En Estados Unidos, donde yo vivo, lo que ahora mismo está frenando más el desarrollo de la inteligencia artificial en empresas es que las aseguradoras se niegan a asegurar el riesgo vinculado a la inteligencia artificial, porque nadie ha creado mecanismos para asegurar que esos riesgos no se produzcan. El trabajo de auditoría está creciendo un montón porque cada vez hay más gente que dice: “Yo tengo que entender lo que ocurre, tengo que poder medir cómo esto funciona en mi casa. Tengo que saber si estoy seleccionando a gente porque se llaman Jared y juegan al lacrosse y no son los mejores empleados a futuro. No me puedo permitir el riesgo de dejar que un sistema de datos que no diferencia correlación de causalidad y que no sabe identificar cuándo un patrón minoritario es relevante tome decisiones”.

¿Cuáles son las minorías más afectadas por los sesgos de la inteligencia artificial?

Las más afectadas son las más evidentes en el mundo real. Vemos mucha discriminación de género, porque es muy prevalente y está básicamente en todo lo que hacemos. Las mujeres siempre tenemos estadísticamente menos oportunidades, menos salarios; hay un montón de datos que nos lo muestran constantemente. Ese es el dato de entrenamiento, con lo cual inmediatamente somos dinámica minoritaria comparada con los hombres.

Pero también nos encontramos mucho edadismo, mucha discriminación de personas con discapacidades de todo tipo –en reconocimiento facial, con personas con síndrome de Down, y fuera del reconocimiento facial, con personas con neurodivergencias que se expresan de forma diferente–, personas que hablan un idioma como segunda lengua, como lo hacemos muchas veces. Los sistemas capturan cómo escribimos y cómo hablamos y no tienen tantos datos de combinaciones de acentos. No todo el mundo es un hispano que habla inglés, hay taiwaneses que hablan filipino. Y no tenemos suficientes datos como para asegurar que los sistemas funcionen igual de bien con esos patrones minoritarios que con los patrones mayoritarios.

Claude, Gemini, DeepSeek o la que sea, ¿tienen ideología?

La que les metamos. No tienen ideología. Básicamente, si hay un patrón... Me hicieron esa pregunta en China, cuando China empieza a desarrollar sistemas. Había mucha alarma: “Van a crear sistemas comunistas”. Y es como: a ver, evidentemente, si tú en China buscas Xi Jinping, te pondrá “es muy buena persona”. No te pondrá “es un dictador” ni te cuestionará. Pero no porque alguien lo haya programado, sino porque la mayoría de fuentes de información a las que accede dicen precisamente ese tipo de información. Tienen la ideología de los datos con los cuales les entrenamos, a no ser que intervengamos para asegurar que no capturen las cosas que no queramos.

¿No toman partido?

Toman partido por las opiniones mayoritarias, sean las que sean. Se han hecho muchos experimentos de intentar entrenar –esto fue hace tiempo, pero la dinámica es la misma–. Microsoft creó un bot en Twitter (se llamó Tay), la gente empezó a interactuar con el bot con mensajes de odio y el bot empezó a reproducir mensajes de odio, porque al final eso se convertía en sus datos de entrenamiento. El sistema no sabe si “Heil Hitler” es algo que se puede decir o no, a no ser que le metamos una norma que diga: “Heil Hitler no se puede reproducir”. Los sistemas en los que trabajamos ahora mismo son sistemas extremadamente tuneados para asegurar que no hay problemas de repercusión legal, que no se pueden construir bombas. El trabajo más importante ahora mismo de Claude, de ChatGPT, es precisamente intervenir en el sistema para darle...

Hay alineamiento.

Sí, y ayudarle a entender. Le introducimos de forma artificial formas de diferenciar causalidad de correlación. Pero tenemos que introducirlas de forma artificial porque la lógica del sistema es siempre la misma. Un sistema puro de IA es muy inútil. La clave está en cómo hacemos ese fine-tuning. ¿Qué pasa? Que el fine-tuning es mucho mejor cuando tienes un objetivo claro. Cuando el objetivo es cualquier persona en cualquier lugar del mundo haciéndome una pregunta, es mucho más fácil que se cuelen cosas problemáticas.

Temas:

Inteligencia Artificial

Seguí leyendo