StopNCII, denuncias en redes y el alcance de la ley frente a contenidos sexuales creados con inteligencia artificial.
Imagen creada con inteligencia artificial (Nano Banana Pro).
Si filtran una imagen sexual íntima sin tu permiso, ¿a quién recurrir? Así nació hace cuatro años StopNCII, una iniciativa de organizaciones sociales y de grandes empresas tecnológicas, lideradas por Meta, bajo el intento de combatir la proliferación de fotografías íntimas en internet.
La plataforma parte de una definición amplia del fenómeno, al describir el intercambio no consentido de imágenes íntimas (NCII, por su sigla en inglés) como el acto de compartir imágenes o videos íntimos de alguien “sin su consentimiento” y aclara que eso “puede incluir imágenes manipuladas/falsificaciones”.
StopNCII opera con una lógica técnica precisa. Genera un “hash”: se trata de un código matemático, como si fuese un código de barras de un producto. Ese código está en la imagen o el video íntimo y lo comparte con empresas participantes para “detectar y eliminar” coincidencias. Es decir, eliminar contenido que llevan ese hash.
La organización lo explica como una “huella digital” que se adjunta al archivo, se almacena en el banco de StopNCII y se distribuye a plataformas asociadas (puede ser WhatsApp, Instagram, X, entre otras), donde se compara con cada contenido subido; si coincide, la imagen se elimina.
Desde Faro Digital, organización dedicada a la formación y al acompañamiento en usos críticos de tecnologías, Milagros Schroder explicó a El Observador que hay organizaciones sociales que promocionan esta herramienta, pero no administran la herramienta.
Schroder marcó un punto clave para entender la expectativa sobre StopNCII: no es un sistema “por persona”, sino por archivo, y por eso se requiere hashear cada imagen. En sus palabras: “Si vos tenés varias fotos, debés pedirlo sobre cada imagen”. En las preguntas frecuentes de la web de StopNCII se indica que se eliminan imágenes si tienen “coincidencias exactas” de contenidos previamente conocidos.
StopNCII recomienda que, si las imágenes ya fueron compartidas, el primer paso sea denunciarlas en las plataformas y luego hacerlo en la web para protegerlas “en el futuro”. El sistema permite seguir el estado del caso en un panel, con la advertencia de que puede requerir “entre 3 y 5 días” para ver actualizaciones, y también deja claro que el seguimiento depende de conservar dos datos: PIN y Número de Caso, que no son recuperables si se pierden.
La plataforma insiste en que el hash se genera sin que la imagen salga del dispositivo: “Nadie más verá tus imágenes cuando se genere el hash, las imágenes no saldrán de tu dispositivo”, dice la web. Además, sostiene que no almacena datos personales, sino “sólo los hashes”, y vuelve a subrayar la importancia de guardar PIN y número de caso.
En cuanto a límites prácticos, StopNCII explica que si una imagen hasheada se edita, por ejemplo, se recorta o se le aplican filtros, el hash original puede no reconocerla y la nueva versión debe hashearse por separado. También fija límites de carga: admite múltiples formatos y establece “un máximo… de 20” hashes por vez. Para casos donde sólo exista una captura de pantalla, indica que puede usarse, pero recomienda eliminar bordes o elementos alrededor “sin recortar la imagen en sí”.
StopNCII delimita su alcance a plataformas “de cara al público”, como publicaciones y stories, y aclara que no aplica a mensajería cifrada: “La mayoría de las plataformas de mensajería utilizan cifrado, lo que significa que las tecnologías hash no son aplicables”. En la misma línea, advierte que no impide que se compartan imágenes “en todo Internet”, sino sólo en las plataformas que participan del sistema.
Además de StopNCII, está Take It Down, que es una iniciativa muy similar, pero enfocada a menores de 18 años.
El punto de quiebre que señaló Schroder es que esta plataforma fue creada en la era pre ChatGPT. Ahora se están creando muchísimas imágenes con contenido sexual que nunca existió.
“Esto lo estamos viendo cada vez más”, dijo Schroeder.
¿Esta web acepta imágenes creadas con inteligencia artificial generativa?
StopNCII asegura que podés enviar imágenes “deepfake o sintéticas” dentro de la plataforma, pero establece algunos matices. “Si la imagen ‘deepfake’ o sintética es tuya, tienes acceso a la imagen y está desnuda/semidesnuda”, entonces podés enviarla. Si la imagen creada con IA es modificada (le ponen un filtro, la recortan o le cambian el fondo), el hash original que enviaste podría no reconocerla.
El problema es que hoy se puede crear sin que el usuario lo sospeche y viralizarse a gran velocidad.
Schroder lo sintetizó así: “Ahora no necesito tener una foto tuya para difundirla, ahora la puedo crear”. Y puso un ejemplo de facilidad de uso que hasta hace un par de días era realizable: “Le escribís @Grok en X: ‘desnudame esta foto’ y es muy fácil”. Elon Musk lo limitó por presión de usuarios y organizaciones., Schroeder dice que no hace falta conocimientos técnicos para generar material sexualizado a partir de una imagen común.
En cuanto a qué hacer, Schroder diferenció el plano técnico del plano institucional y sostuvo que una herramienta no reemplaza respuestas más amplias. Lo ubicó en contexto: “cuando se lanzó hace cuatro años era otra la realidad”. En su enfoque, la respuesta requiere participación de varios actores: “No es solo las plataformas, es la familia, la escuela, los centros de salud, las organizaciones civiles, el Estado. Hay una corresponsabilidad”, y lo expresó en un concepto que repitió como marco: “cuidadanía digital”.
El abogado especializado en temas tecnológicos Martín Pecoy Taque explicó que en Uruguay no existe "un delito que imponga el castigo" a la realización de un deepfake, según el texto "Los deepfakes y el desafio de su criminalizacion" que publicó en la Revista Crítica de Derecho Penal divulgada en 2024. Aunque hay una excepción: que se utilice como medio para cometer otros delitos.
Desde 2018 existe el delito de divulgación de imágenes íntimas. Allí se especifica que quien difunda, revele exhiba o ceda a terceros imágenes o grabaciones de una persona con contenido íntimo o sexual, sin su autorización, será castigado con una pena de seis meses de prisión a dos años de penitenciaría.
La abogada Agustina Pérez Comenale aseguró que la nueva ley de ciberdelitos de 2024 lo que hizo fue “agregarle agravantes”. Por ejemplo, que el delito se ejecute “mediante coacción, intimidación o engaño hacia los menores de edad” y que sea realizado “por personas con un vínculo de afinidad o parentesco con el menor” o que “el contacto se realice con un menor de trece años de edad, con discapacidad, deficiencias físicas o psíquicas".
El abogado penalista especializado en Derecho Informático Martín Pecoy, aseguró que “esa norma no restringe medios típicos mediante los cuales se desarrolle la divulgación de contenido (ni tampoco respecto de la elaboración de ese contenido que se divulga), así que resulta aplicable”.
Pese a ello, algunos consideran la necesidad de aprobar una ley que tipifique especialmente los contenidos íntimos elaborados con inteligencia artificial. Así lo entiende el diputado colorado Gabriel Gurméndez, quien el año pasado propuso penar la “generación de imágenes sexuales falsas” hechas con IA
Las personas pueden denunciarlo ante la Dirección de Cibercrimen. En Montevideo: Unidad de Cibercrimen - Carlos Quijano 1316. En el resto del país: en cualquier Seccional policial o en Fiscalía. Para asesoramiento se puede escribir al correo: [email protected].
A su vez existe la Línea Azul, un servicio gratuito y confidencial del INAU, funciona en todo el país como un canal para denunciar situaciones de maltrato, abuso o vulneración de derechos de niños, niñas y adolescentes. También se puede acceder a este servicio a través de *teléfonos fijos (0800 5050), celulares (5050) o por vía web, y a partir de cada contacto se activan mecanismos de respuesta y derivación a equipos especializados, con el objetivo de proteger y garantizar los derechos de los menores.