Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAPI / Producto · Listo para usarOpenAI Blog→ original

OpenAI regala un detector de CSAM: marca un 48 % menos de imágenes con los mismos hallazgos

El CSAM son materiales de abuso sexual infantil, y las plataformas que permiten subir imágenes tienen que buscarlos. OpenAI ha lanzado un clasificador que detecta estas imágenes, incluidas las generadas con IA, y lo ofrece gratis a organizaciones verificadas a través de su API. En una prueba, marcó un 48 % menos de imágenes que la protección anterior, pero encontró casi el mismo número de infracciones. Así, los moderadores ven menos contenido especialmente duro.

Procesado por IA desde OpenAI Blog; editado por Hamidun News
OpenAI regala un detector de CSAM: marca un 48 % menos de imágenes con los mismos hallazgos
Fuente: OpenAI Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalOpenAI Blog ↗
Editor jefe
Dato clave #1La proporción de infracciones reales entre las imágenes marcadas se duplicó aproximadamente.
Fallos moderadores confirmaron como nuevo CSAM el 72 % de las detecciones con alta confianza.
SafetyKitel modelo encontró el 90 % de los dibujos y animaciones que sexualizan a menores.

El CSAM son materiales de abuso sexual infantil. Cualquier servicio donde los usuarios suben imágenes o las generan con una red neuronal acaba enfrentándose tarde o temprano a este contenido. El problema no es solo legal.

Los moderadores humanos tienen que mirar esas imágenes, y un filtro malo les llena la cola de falsos positivos. El 16 de noviembre de 2026, OpenAI presentó un conjunto de medidas, y la principal es un nuevo clasificador de imágenes. Marca un 48 % menos de imágenes que la protección anterior de la compañía, con un número de infracciones encontradas casi igual.

Para verlo claro: si el filtro antiguo enviaba 1000 imágenes a los moderadores, el nuevo enviaría unas 520, y entre ellas habría la misma cantidad de infracciones reales. El clasificador está disponible gratis para organizaciones verificadas.

Qué hace el clasificador y quién lo recibirá

El modelo analiza imágenes y busca indicios visuales de abuso. Está orientado a imágenes nuevas que el sistema no había visto antes. Es importante, porque las bases clásicas de hashes solo encuentran archivos ya conocidos. El clasificador no devuelve un veredicto de sí o no, sino puntuaciones: con ellas, quienes revisan deciden qué imágenes mirar primero.

OpenAI lo presenta como el primer clasificador de CSAM de uso amplio que indica por separado si el material pudo haber sido generado con IA. El modelo se entrenó y evaluó con la participación de NCMEC, el Centro Nacional estadounidense para Niños Desaparecidos y Explotados, que gestiona CyberTipline, el canal único de denuncias de explotación infantil en línea.

Accederán las organizaciones verificadas a través de la API de OpenAI, y será gratis. Para la distribución, la compañía ha involucrado a Tech Coalition y ROOST. La solicitud se presenta mediante un formulario. El modelo cuenta con una model card.

Según datos de la propia OpenAI, en imágenes de usuarios el nuevo clasificador marcaría un 48 % menos de imágenes que la protección actual y encontraría aproximadamente el mismo número de infracciones. Entre las imágenes marcadas, los casos reales aparecían aproximadamente el doble de veces. Los socios de acceso anticipado aportan sus propias cifras:

  • fal: en imágenes de producción revisadas por personas, los moderadores confirmaron como nuevo CSAM el 72 % de las detecciones con alta confianza;
  • invideo AI: uno de cada cuatro casos marcados terminó en un baneo;
  • SafetyKit: en dibujos y animaciones que sexualizan a menores, el modelo encontró el 90 % de los casos.

Advertencias en ChatGPT

La segunda parte afecta al propio chatbot. Las solicitudes de CSAM en ChatGPT ya estaban prohibidas, y los modelos están entrenados para negarse. Ahora se añaden advertencias que interrumpen el intento de buscar este material. Explican las consecuencias y dirigen a la persona hacia especialistas que ayudan a frenar la conducta dañina. El texto señala explícitamente que sexualizar a menores causa daño, incluso si el material ha sido generado con IA.

Después funciona una escalera de medidas. Se elimina la conversación y el acceso a ChatGPT se suspende durante 24 horas. Ante infracciones repetidas, las restricciones se alargan, y puede llegar el cierre de la cuenta y la notificación a las autoridades. El enfoque se desarrolló junto a Protect Children, la Lucy Faithfull Foundation y asesores académicos de las universidades de Kent y Tasmania.

Qué significa para los desarrolladores

OpenAI ha publicado una guía práctica sobre CSAM: cómo prevenir abusos, detectar contenido y actuar. Se elaboró con la participación de Tech Coalition, Thorn, NCMEC e Internet Watch Foundation. Describe:

  • las normas de uso del producto;
  • los canales por los que los usuarios comunican los problemas;
  • las herramientas de detección;
  • el proceso de revisión y envío de denuncias;
  • los identificadores de seguridad que ayudan a vincular un abuso con un usuario concreto;
  • el apoyo a los propios moderadores.

La guía se recomienda usar junto con la Moderation API, la consola de revisión ROOST Coop y servicios especializados como Thorn Safer. Además, OpenAI, junto con Anthropic y Google, encargó recomendaciones sobre cómo deben responder los sistemas de IA cuando los usuarios confiesan violencia. Las publicó Tech Coalition. Según la compañía, tras la publicación de la guía, más desarrolladores han empezado a integrar herramientas de seguridad infantil y a registrarse para enviar denuncias a NCMEC.

A las fuerzas del orden que investigan estos casos, OpenAI les ofrece formación y herramientas de IA. La primera ayuda a analizar conversaciones largas y respuestas a requerimientos legales, a encontrar conexiones y a construir cronologías con referencias a las fuentes. El acceso depende de la autorización del organismo.

Limitaciones

Todas las cifras proceden de pruebas de la propia OpenAI y de sus socios de acceso anticipado; en el material no hay verificaciones independientes. Las muestras y la metodología no se detallan, y conviene consultarlas en la model card. El acceso está limitado a organizaciones verificadas, así que una startup pequeña no podrá integrar el modelo sin que se apruebe su solicitud.

La conclusión práctica para los equipos de producto: si tienen subida de imágenes o generación de imágenes, conviene planificar de antemano la cadena de filtro, cola de revisión, envío de denuncias y cuidado de los moderadores. La guía y el modelo gratuito hacen que este camino sea bastante más barato.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué hace el clasificador y quién lo recibirá?

El modelo analiza imágenes y busca indicios visuales de abuso. Está orientado a imágenes nuevas que el sistema no había visto antes. Es importante, porque las bases clásicas de hashes solo encuentran archivos ya conocidos. El clasificador no devuelve un veredicto de sí o no, sino puntuaciones: con ellas, quienes revisan deciden qué imágenes mirar primero. OpenAI lo presenta como el primer clasificador de CSAM de uso amplio que indica por separado si el material pudo haber sido generado con IA.

¿Qué se sabe sobre Advertencias en ChatGPT?

La segunda parte afecta al propio chatbot. Las solicitudes de CSAM en ChatGPT ya estaban prohibidas, y los modelos están entrenados para negarse. Ahora se añaden advertencias que interrumpen el intento de buscar este material. Explican las consecuencias y dirigen a la persona hacia especialistas que ayudan a frenar la conducta dañina. El texto señala explícitamente que sexualizar a menores causa daño, incluso si el material ha sido generado con IA. Después funciona una escalera de medidas.

¿Qué se sabe sobre Qué significa para los desarrolladores?

OpenAI ha publicado una guía práctica sobre CSAM: cómo prevenir abusos, detectar contenido y actuar. Se elaboró con la participación de Tech Coalition, Thorn, NCMEC e Internet Watch Foundation. Describe: las normas de uso del producto; los canales por los que los usuarios comunican los problemas; las herramientas de detección; el proceso de revisión y envío de denuncias; los identificadores de seguridad que ayudan a vincular un abuso con un usuario concreto; el apoyo a los propios moderadores.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…