Victoria Martínez Suárez, de Red Hat LATAM, explicó a El Observador cómo las alucinaciones en los sistemas de IA afectan a las empresas y qué estrategias existen para prevenirlas
La inteligencia artificial ¿miente? ¿Cómo una empresa puede incorporar inteligencia artificial sabiendo que puede inventar información?
Sobre eso habló con El Observador la argentina Victoria Martínez Suárez, gerente de Desarrollo de Negocios de Inteligencia Artificial en Red Hat LATAM, quien estuvo en Uruguay en el marco de la Red Hat Summit.
“Los modelos generativos siempre alucinan”, señaló. El término se refiere a cuando un sistema produce respuestas falsas o inventadas, generadas por errores en su entrenamiento o interpretación. Para la especialista, las alucinaciones no son fallas aisladas sino parte inherente de la tecnología.
Según Martínez Suárez, las empresas se enfrentan a tres grandes obstáculos al implementar sistemas de IA: el costo, la privacidad de los datos y las alucinaciones o sesgos. En el plano económico, explicó que muchas pruebas de concepto parecen exitosas hasta que se llevan a escala real. “Cuando empezás a tener interacciones en la realidad, esos costos se descontrolan”, advirtió.
El primer desafío es financiero. ChatGPT o Gemini se vuelven costosos a medida que el número de usuarios crece.
El segundo desafío, agregó, es la privacidad. “Cuando los datos no están bajo tu control, el cumplimiento de las regulaciones es un tema crítico”, explicó.
En Latinoamérica, muchas empresas deben garantizar que sus datos permanezcan en el territorio nacional. Chile, por ejemplo, cuenta con centros de datos locales de Amazon y Microsoft, pero en la mayoría de los países la situación es distinta. “El modelo corre en servidores externos, no en tu infraestructura”, advirtió.
A eso se suma la falta de explicabilidad, un concepto central para Red Hat. “No sabés qué hace todo el modelo ni dónde se fueron los datos; solo ves el resultado final”, señaló. Esa opacidad convierte las alucinaciones en un riesgo difícil de detectar.
Para solucionar todo esto, Red Hat promueve el uso de la cadena de pensamiento, una técnica que permite seguir paso a paso cómo se llegó a una respuesta. “Con la cadena de pensamiento podés dar una explicabilidad completa de cómo se llegó a esa conclusión”, dijo.
En industrias reguladas o científicas, como la química o la biología, esta trazabilidad es fundamental. En el proyecto VitalOcean, destinado a proteger áreas marinas, los modelos deben calcular con exactitud la huella de carbono y predecir comportamientos del océano. “Ahí la explicabilidad es el corazón. Evitar que los modelos alucinen es crucial”, afirmó.
Red Hat impulsa una arquitectura de modelos pequeños y especializados, en lugar de grandes modelos generales. Esta estrategia permite controlar mejor los errores, reducir el costo computacional y mantener la privacidad. “Son modelos chiquititos, súper precisos, que se comunican entre ellos”, explicó.
El objetivo es que cada modelo cumpla una función concreta —por ejemplo, legal, contable o científica— y que los resultados puedan auditarse. “Si cambio algo en lo legal, actualizo ese agente sin modificar todo el sistema”, dijo.
Los modelos abiertos, según Martínez Suárez, garantizan transparencia. “En los modelos abiertos sabés qué datos se usaron para entrenarlos. Si son públicos, podés definir para qué casos de uso aplican”, señaló. Esa apertura, añadió, aumenta la confianza y permite corregir sesgos o errores.
Para controlar las alucinaciones y el comportamiento no deseado de los modelos, Red Hat emplea sistemas de vigilancia denominados Guardianes.
Uno de ellos fue entrenado específicamente en ética, siguiendo métricas internacionales de la UNESCO y la OCDE.
“El Guardian evalúa si el modelo está siendo ético, útil, honesto o peligroso”, explicó. Si el sistema detecta desviaciones, genera alertas o deriva la tarea a revisión humana. “Estamos dentro del loop; no se trata de reemplazo absoluto”, aclaró. Por eso, la experta explicó que no se trata de un reemplazo humano, sino de mantener la supervisión y el control humano sobre las decisiones de la IA.
Red Hat también utiliza un sistema que es indispensable para medir si un modelo de lenguaje es ético y responsable. “Se puede medir todo esto”, subrayó, en referencia a las métricas de sesgo, empatía y coherencia que aplican en entornos reales.
Para Martínez Suárez, 2025 y 2026 marcarán la madurez del uso de agentes inteligentes en las empresas. “El 2025 es el año agente. Todos quieren hacer agentes, y el desafío es cómo escalar y tener control”, dijo.
Los nuevos sistemas apuntan a una inteligencia aumentada, donde el humano sigue en el circuito. “No se elimina al humano, se convierte en supervisor”, aclaró.
Estos agentes buscan automatizar tareas repetitivas, pero mantener la decisión final en manos humanas. “No tiene sentido que una persona mire cien monitores cuando un algoritmo puede detectar patrones y alertar al humano”, ejemplificó.
El uso de la inteligencia artificial trae también riesgos de seguridad. “Los ciberataques se sofisticaron y usan IA para atacar”, advirtió.
Por eso, Red Hat recomienda mantener control sobre la infraestructura, evitar conexiones directas entre modelos y fuentes internas, y usar protocolos seguros como MCP o Agent-to-Agent.
“La clave es que los modelos abiertos son cajas blancas: sabés lo que hay adentro”, explicó. El objetivo, resumió, es promover una inteligencia artificial híbrida y responsable, que combine componentes abiertos y servicios externos de forma segura.
Martínez Suárez insistió en que la IA ya forma parte de la vida cotidiana. Por eso, considera que la conversación sobre IA debe centrarse en la conciencia del uso. “Debemos tener control sobre la tecnología, entender si está alucinando, cómo detectarlo y qué hacer cuando ocurre”, concluyó.