OpenAI lanzó un clasificador de imágenes gratuito que detecta material de abuso sexual infantil (CSAM), tanto real como generado con inteligencia artificial. Está disponible para organizaciones verificadas a través de la API de la empresa y fue desarrollado junto al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), según informó la compañía en su blog.

Registrate gratis y seguí navegando

¿Ya estás registrado?

Registrate

Suscribite por USD 3,45 al mes

Suscribite

Cómo funciona el clasificador

La herramienta analiza las señales visuales de cada imagen en busca de indicios de abuso, con el objetivo de identificar contenido nuevo que podría no haber sido detectado antes. Además, indica de forma específica si el material pudo haber sido generado por IA.

más Noticias

Cuando detecta una posible imagen de abuso, le asigna una puntuación. Esa cifra sirve para que los equipos de moderación prioricen qué imágenes revisar primero.

Según las pruebas internas y con socios de OpenAI, las imágenes que marcó el clasificador tenían aproximadamente el doble de probabilidades de contener material abusivo. En pruebas con imágenes de producción revisadas por humanos, los revisores confirmaron como material de abuso sexual infantil novedoso el 72 por ciento de las alertas.

La empresa estima que el clasificador marcaría un 48 por ciento menos de imágenes que la herramienta actual, y encontraría aproximadamente la misma cantidad de imágenes abusivas. En concreto, señala el contenido que sí es abuso y deja afuera el que finalmente no contiene CSAM, lo que reduce el trabajo de revisión.

Nuevas medidas en ChatGPT y herramientas para policías

OpenAI también incorporó advertencias en ChatGPT. El chatbot las muestra cuando detecta intentos de encontrar material de abuso sexual infantil, y los mensajes explican las consecuencias de sexualizar a menores, incluso cuando el contenido pedido se genera con IA.

Como resultado, la conversación señalada se elimina automáticamente y el acceso del usuario a ChatGPT queda suspendido durante un día. La compañía indicó que se ofrecerán opciones de apoyo especializadas para ayudar a los usuarios a abandonar estos comportamientos.

Si un mismo perfil reincide, OpenAI podrá aplicar restricciones más prolongadas, cerrar la cuenta o contactar a las autoridades. Estas medidas se suman a las políticas que ya prohíben este material, así como a las restricciones sobre su generación y su búsqueda.

La empresa publicó además una guía práctica para desarrolladores sobre cómo prevenir, detectar y responder al abuso sexual infantil en sus entornos digitales. Incluye sistemas para que los usuarios comuniquen posibles casos, herramientas de detección, procedimientos para revisar y denunciar, y recomendaciones para proteger a quienes revisan contenido sensible.

Para las unidades policiales especializadas en protección infantil, OpenAI anunció herramientas y opciones de formación. Entre ellas hay complementos específicos para investigaciones, capacidad de análisis de grandes volúmenes de datos y capacitación sobre el uso de IA en investigaciones.

Temas:

OpenAI ChatGPT

Seguí leyendo