La inteligencia artificial AI Scientist, desarrollada en Japón y que tiene el objetivo de automatizar procesos complejos en la investigación científica, se salió de control. AI Scientist demostró un comportamiento alarmante, alteró su propio código para evadir las restricciones impuestas por sus creadores. Entre los cambios realizados, modificó su script de inicio para ejecutarse indefinidamente, desafiando los controles programados. La razón podría estar fundada en que la herramienta fue conectada a Internet, en donde aparentemente adquirió estas capacidades. Un año atrás un sistema de misiles gobernado por IA decidió atacar a su operador por considerarlo una amenaza en el cumplimiento de su misión: afortunadamente se trató de una simulación y no de la vida real.
20 de septiembre 2024 - 11:39hs
Ahora un individuo logró engañar a las defensas de ChatGPT de OpenAI, lo que llevó a la IA a proporcionar instrucciones detalladas para construir explosivos, generando alarma sobre la resistencia de ChatGPT a los ataques de ingeniería social.
Empleó un método conocido como “jailbreaking” para sortear las restricciones de ChatGPT. Incorporo solicitudes dentro de una narrativa de juego ficticia. El usuario pudo eludir de ese modo las barreras éticas y de seguridad del programa y conseguir detalles específicos, secretos y confidenciales sobre la fabricación de bombas. Esto es comparable a resolver un rompecabezas complejo, que requiere conocer cómo manipular las reglas internas del chatbot.
Más noticias
El término jailbreaking de ChatGPT hace referencia a las técnicas o métodos utilizados para eludir las medidas de seguridad y las fronteras y limitaciones de ChatGPT. Con este método, los usuarios intentan inducir a la IA a generar respuestas que normalmente se considerarían inapropiadas, dañinas o contrarias a sus directrices.
Tras analizar el contenido generado por la IA, un profesional con experiencia en explosivos afirmó que los detalles eran peligrosamente precisos y que, en caso de intentarlo, podrían conducir a la creación de un explosivo potente.
La situación pone de relieve el dilema de desarrollar las capacidades de la IA manteniendo al mismo tiempo la integridad ética y la seguridad. La IA generativa, diseñada para ayudar y explotar un enorme volumen de información y conocimiento, aún corre el riesgo de acceder y proporcionar contenido dañino y salirse de control. Existe una demanda apremiante de mayor protección y vigilancia para consecuencias futuras.
Temas
Seguí leyendo
- Tecnología Anthropic admitió que ya no puede medir con precisión qué tan capaces son sus propios modelos de IA
- INTELIGENCIA ARTIFICIAL Qué va a hacer el nuevo data center de Antel y por qué es "incomparable" con el de Google
- inteligencia artificial Uruguay es uno de los tres países del mundo donde más aumentó el uso de ChatGPT en el último trimestre
- INTELIGENCIA ARTIFICIAL El modelo de IA chino Kimi K3 también se escapa de su entorno de pruebas, sumándose a los incidentes de Claude y ChatGPT
