La IA puede verse de una forma distinta. Y no solo verse sino hacer algo para combatir el "colonialismo" digital que existe. Eso es lo que propone Paola Ricaurte Quijano, una académica y activista líder que impulsa la descolonización de la inteligencia artificial a través de la acción colectiva.
En entrevista con El Observador, Ricaurte, quien el año pasado fue elegida como una de las 100 personas más influyentes del mundo en este tema, según la revista Time, explica el fenómeno de los sesgos y cuenta proyectos que buscan otra forma de percibir a la tecnología más disruptiva de los últimos años.
La mexicana ubica los sesgos dentro del “ciclo de vida de la inteligencia artificial”. Dice que hay “varios momentos” en los que “se puede manifestar este tipo de sesgos”. Y advierte que la conversación pública se queda en un tramo: “en el momento del despliegue… es lo que usualmente más se discute”, pero “se tendrían que discutir también otros momentos”.
En su lectura regional, Ricaurte remarca que América Latina arrastra desigualdades históricas. “Nuestra sociedad obviamente tiene formas de discriminación y formas de exclusión”, afirma. Y agrega que eso “se reproduce en los datos que se recolectan”, porque hay personas que “están excluidas de los sistemas de datos”, desde el punto de partida.
Ricaurte suma una segunda capa: el diseño del sistema. “Después cuando se diseñan los algoritmos”, explica, “las formas de diseñar los algoritmos pueden ajustarse o desajustarse para acomodar ciertos parámetros”. En su planteo, el sesgo no solo se hereda de los datos; también puede consolidarse cuando se elige qué variables importan y cuáles quedan fuera.
Al hablar del despliegue, Ricaurte introduce un desajuste que define como estructural. “En el caso de América Latina somos un conjunto de sociedades muy diversas”, sostiene. Por eso, “normalmente, esos sistemas no responden a la realidad de la diversidad social que existe en América Latina”. En su lectura, ese desfase empuja resultados que no representan a los grupos reales que usan o padecen el sistema.
Ricaurte toma el sesgo de género como ejemplo frecuente del debate. “Uno de los sesgos que más se discute es el sesgo de género”, dice. Y lo baja a un caso cotidiano: “piensa en un censo y te dice: 'Tienes que escoger si eres hombre o mujer'”. Para Ricaurte, ese diseño refleja una creencia previa: “solamente hay géneros binarios”.
Desde ese ejemplo, Ricaurte plantea la consecuencia directa de la clasificación cerrada. Pregunta: “¿qué pasa con las poblaciones que no se identifican… con una de esas formas” de nombrar la diversidad. Y responde que “todas esas personas ya no van a estar contempladas en los resultados… cuando se despliegue” el sistema. En su argumento, la exclusión no aparece al final: queda escrita desde el formulario.
Ricaurte amplía el mapa de sesgos posibles más allá del género. Enumera “sesgos raciales” y formas de “discriminación por edad”, “por nacionalidad”, “por oficio” y “por clase social”. En su descripción, son desigualdades que “se arrastran de nuestras sociedades” y luego “se reflejan en los sistemas” cuando los utilizan personas de “grupos excluidos”.
Una parte central de su postura es discutir lo que se promete y lo que se puede hacer. Ricaurte dice que “se escucha… ‘vamos a eliminar los sesgos’”, pero marca un límite: “técnicamente es imposible eliminar los sesgos”. En su explicación, estos sistemas son “un sistema matemático” y, por definición estadística, siempre existe “un margen de error” que no desaparece. En su planteo, la discusión no debería vender perfección, sino transparentar decisiones y riesgos para entender a quién afecta cada error.
"Opacidad corporativa" y decisiones que nadie ve
Ricaurte afirma que el punto crítico es conocer las decisiones empresariales. “Lo que queremos saber es cuáles son las decisiones que las compañías toman para definir qué parámetros utilizan cuando hacen el diseño”, plantea. En esa lista incluye preguntas encadenadas: cómo se ajustan, cómo se calibran, qué datos se recogen, cómo se recogen y cómo se trabajan.
Ante la observación de que esa información no está disponible, Ricaurte responde sin rodeos: “y eso no se sabe”. Luego redefine una idea extendida: cuando se habla de algoritmos como “cajas negras”, para Ricaurte “las que son las cajas negras son las compañías”. El problema, dice, es que “no nos dan información acerca de cómo construyen sus sistemas”.
Algunos sistemas dejan ver que existen salidas distintas, porque permiten ajustar el comportamiento: se puede elegir “más creatividad” o “menos creatividad”, para que el sistema “se ajuste más a los datos de entrenamiento”. Para Ricaurte, eso confirma que hay decisiones activas.
Ese punto, para Ricaurte, vuelve a la falta de trazabilidad. Aunque se intuya que el modelo tiene configuraciones, “tú no sabes cómo opera este sistema para que tenga una salida u otra”. Y subraya la consecuencia: una salida u otra “va a afectar más o menos a un conjunto de personas”. En su marco, la opacidad no es técnica: es política y distributiva.
Qué le preocupa de la IA hoy: impactos cognitivos, adopción sin protocolos y uso estatal opaco
Ricaurte distingue preocupaciones en distintos niveles. En el plano micro, dice que le inquieta que aún “todavía no sabemos qué impacto cognitivo” tendrá “delegar o automatizar tareas” asociadas al “pensamiento profundo”. En su lectura, no se trata solo de hábitos de uso, sino de condiciones para sostener capacidades humanas.
Sobre la dependencia, reconoce la dimensión de “la adicción”, pero señala otra arista: el riesgo de que las personas se vuelvan “incapaces” de “generar las condiciones” para desarrollar “procesos cognitivos profundos”. Relaciona esa tendencia con un entorno informativo donde “la información está fragmentada” y el análisis también.
Ricaurte plantea que existen “pocas oportunidades” para tener “espacio para pensar y analizar” y también “tiempo”. En su descripción, la incorporación de herramientas generativas puede reforzar una dinámica previa que ya venía con las redes sociales, al facilitar la delegación de tareas que demandan concentración.
En el nivel institucional, Ricaurte dice que le preocupa que escuelas y actores educativos adopten estas herramientas “sin tener ninguna… ningún protocolo” ni “ningún acompañamiento”. Menciona a “estudiantes” y “maestros” como usuarios que quedan expuestos cuando el uso se normaliza sin guías claras.
