Soberanía digital sobre la tecnología más disruptiva de este tiempo. Así presentaron este martes en Chile a Latam-GPT, un modelo de lenguaje desarrollado con el objetivo de combatir los sesgos y la dependencia de otros países.
En el lanzamiento, Álvaro Soto, director del Centro Nacional de Inteligencia Artificial (Cenia) de Chile, explicó que la IA es una tecnología disruptiva con efectos esperados en la vida cotidiana, las ciudades y los países. En ese marco, afirmó: “dejar que esa tecnología la hagan en otra parte del mundo, yo creo que no es una opción”.
El director de Cenia mencionó “problemas geopolíticos” recientes para argumentar que depender de una tecnología de alta relevancia implica riesgos. En ese sentido, sostuvo que es importante que la región desarrolle capacidades propias y agregó: “lamentablemente hasta ahora en eso nos ha ido mal”.
Soto planteó que distintos actores en el mundo entendieron la relevancia de construir “cierta soberanía tecnológica” en inteligencia artificial. Aclaró que, según su definición, soberanía no implica aislarse, sino levantar capacidades para estar en posición de opinar y participar cuando “pidan sentarse a la mesa”.
En paralelo, desde Uruguay, Patricia Díaz, de Datysoc, sostuvo que para entender el anuncio es clave delimitar qué se está lanzando. Según explicó, “se lanza el proyecto y se lanza información relacionada con los avances”, y el modelo “ya está para salir”, pero el punto es comprender qué es y qué no es la iniciativa.
Díaz remarcó que, en su diseño, no se trata de una empresa. Señaló que el proyecto apunta a dejar materiales en un repositorio de código y que el resultado no se agota en el modelo, sino en un conjunto de entregables asociados a su construcción y evaluación.
Datos, entregables del proyecto y características del modelo
La segunda motivación presentada por Soto se vinculó con el conocimiento que tienen los modelos sobre América Latina. Afirmó que esos sistemas no conocen tanto a la región y atribuyó la razón principal a los datos, que definió como “el combustible” de estos modelos.
Según su estimación, “alrededor del 2 al 3 por ciento” de los datos con que se entrenan estos sistemas proviene de Latinoamérica. Para ilustrar esa brecha, contó que Cenia realizó un estudio con “alrededor de 12.000 preguntas” sobre entidades de otras regiones y 12.000 sobre entidades relevantes para Latinoamérica.
Como uno de los principales productos del proyecto, Soto presentó el Latam-GPT Corpus, construido de forma colaborativa con información reunida desde la región. Indicó que el corpus tiene “alrededor de 300.000 millones de tokens”. Atribuyó ese resultado a un aporte con “más de 65 alianzas formales” y participación desde “más de 15 países”. También afirmó que el proyecto se levantó “principalmente por voluntarismo”, sin “el gran financiamiento”, pero con la voluntad de impulsar una iniciativa regional.
Díaz subrayó que el repositorio incluirá múltiples productos: el modelo, la base de datos de entrenamiento, los benchmarks y elementos para evaluar desempeño. Eso permite que quien descargue el modelo tenga una forma de probar "la performance” y contar con “ítems de evaluación” para entender cómo funciona.
Soto, por su parte, describió que lo presentado es, en su forma básica, “como un ChatGPT”. Definió a Latam-GPT como un “bien público tecnológico” y afirmó que es “un modelo abierto”.
En términos técnicos, indicó que el modelo tiene “70.000 millones de parámetros” y que se realizó con entrenamiento continuo sobre el modelo base Llama 3.1. Según explicó, el objetivo fue concentrar el aprendizaje en conocimientos sobre Latinoamérica, y añadió que el entrenamiento se realizó en la nube de Amazon.
Díaz agregó que la liberación de la base de entrenamiento es un punto distintivo del enfoque del proyecto. Señaló que contar con esos datos habilita revisar el proceso y preparar ajustes específicos, y lo vinculó con la posibilidad de analizar “qué sesgo tiene, qué le falta” y qué cambios serían necesarios según el uso.
En la misma línea, describió que el objetivo no está pensado para el público que se sienta a usar un servicio de chat, sino para empresas y Estados. Según dijo, la finalidad es que puedan tener un “modelo soberano” y que, además, conozcan cómo se construyó para auditarlo y adaptarlo.
Esa adaptación, según Díaz, puede tomar la forma de fine tuning para servicios especializados. Mencionó como ejemplos un servicio legal especializado o un chat de un gobierno, y sostuvo que la lógica es dejar el modelo disponible para que empresas latinoamericanas y Estados latinoamericanos lo usen y desarrollen sus propias capas de aplicación.
Soto también describió evaluaciones realizadas para medir resultados. Dijo que generaron distintos test y eligieron un benchmark cultural con preguntas propuestas por colaboraciones de la región, con ejemplos como “qué es un almíbar nicaragüense”, “quiénes son los cochalas”, “qué es una parranda en Puerto Rico” y “de dónde es originario el chancho en piedra”.
A partir de esa medición, afirmó que el rendimiento del modelo “en escala chilena” sería como un “6.9”. En su interpretación, eso indica que el modelo se concentró en estudiar y aprender más sobre Latinoamérica y que el proyecto “nos pone en el mapa”.
Sobre los próximos pasos, Soto planteó la intención de compartir y divulgar lo realizado. Dijo que se abrirán el modelo y también “todos los códigos” del procesamiento de datos, y afirmó: “Los datos los vamos a hacer públicos”.
