OpenAI lanzó un detector de CSAM: los moderadores reciben un 48% menos de imágenes para revisar
OpenAI ha lanzado un detector de CSAM, el nombre que se da al material de abuso sexual infantil, incluido el generado con IA. El modelo asigna una puntuación a cada imagen nueva, y la decisión final la toma un moderador. En pruebas con socios, marcó un 48% menos de imágenes y detectó el mismo número de infracciones reales, de modo que llega menos contenido inofensivo a la revisión manual. Para las plataformas que reciben fotos de los usuarios, esto supone un ahorro de tiempo para los moderadores.
Procesado por IA desde TechCrunch; editado por Hamidun News
Cualquier plataforma en la que los usuarios suben imágenes o las generan con IA tarde o temprano se enfrenta al CSAM, la sigla con la que se conoce el material de abuso sexual infantil. Los modelos generativos han agravado el problema: ahora estas imágenes no solo se pueden distribuir, sino también crear. OpenAI anunció un paquete de medidas en cuatro frentes: un nuevo clasificador de imágenes, advertencias en ChatGPT, una guía para desarrolladores y herramientas para la policía.
La cifra clave del paquete es 48%. En las primeras pruebas con socios, el clasificador marcó un 48% menos de imágenes que el enfoque anterior, mientras que el número de infracciones reales detectadas se mantuvo igual. En pocas palabras: al moderador llegan menos imágenes inofensivas que hay que revisar a ojo, y los casos reales no se pierden.
Clasificador: menos trabajo manual innecesario
El nuevo modelo busca indicios visuales de abuso en las imágenes, también en las generadas por IA. Funciona con imágenes que nunca antes había visto, de modo que no se limita a cotejar con una base de archivos ya conocidos. Como resultado, el moderador recibe una puntuación. El modelo no emite un veredicto, sino que indica en qué fijarse primero y cómo proceder.
OpenAI desarrolló la herramienta junto con el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). La compañía distribuye el acceso a través de la API de forma gratuita, pero por ahora solo a organizaciones seleccionadas. La difusión corre a cargo de Tech Coalition y ROOST.
Otra cifra de las pruebas: las imágenes marcadas por el clasificador resultan ser infracciones reales el doble de veces. Para los moderadores esto también es una cuestión de carga psicológica: cada imagen dudosa de más la tiene que ver una persona.
Advertencias en ChatGPT y guía para desarrolladores
ChatGPT ya bloqueaba el CSAM y las consultas relacionadas. Ahora, ante un intento de este tipo, el chat mostrará una advertencia y dirigirá a la persona a ayuda especializada para frenar la conducta dañina. Después, la cuenta se bloqueará durante 24 horas. En caso de reincidencia, podría eliminarse de forma permanente.
OpenAI preparó los textos de las advertencias junto con las organizaciones Protect Children y Lucy Faithfull Foundation, y con el investigador Joel Scanlan, de la Universidad de Tasmania. Scanlan evaluó de forma independiente el piloto con los mensajes destinados a disuadir a las personas de hacer este tipo de consultas.
Por separado, la compañía publicó una guía para desarrolladores que usan sus herramientas. En ella se explica cómo prevenir y detectar el CSAM y cómo ayudar a los usuarios a denunciarlo. Según OpenAI, en las pruebas iniciales la guía ayudó a varios desarrolladores a integrar herramientas de protección infantil y a registrarse para enviar denuncias al NCMEC.
Para las fuerzas del orden que investigan delitos contra la seguridad infantil, la compañía añade funciones de IA: plugins, herramientas de investigación y análisis de conjuntos de datos complejos. El acceso lo gestionan los administradores del programa. A los investigadores se les ofrecen formación y una guía de campo sobre el uso de la IA.
Contexto y limitaciones
El anuncio llega en un momento de presión sobre la compañía. Hay demandas contra OpenAI que acusan a la tecnología de dañar a los usuarios, especialmente a los menores. La organización Common Sense Media calificó los productos de OpenAI para adolescentes como un «riesgo inaceptable». Otros chatbots, en particular Grok, se han utilizado para crear imágenes sexualizadas sin consentimiento, incluidas de niños. En los últimos 12 meses, OpenAI ya publicó un plan de seguridad, actualizó sus normas de contenido, reentrenó sus modelos y lanzó una versión de ChatGPT para adolescentes.
Hay matices que tener en cuenta. Las cifras del 48% y de «el doble» proceden de las primeras pruebas con socios y, por ahora, las da a conocer la propia compañía. El material no incluye una verificación independiente. No todos tendrán acceso al clasificador: se entrega a empresas seleccionadas. La puntuación sigue siendo una orientación, y la decisión final la toma una persona.
Para los equipos de producto la conclusión es sencilla. Si el servicio permite subir o generar imágenes, hay que diseñar de antemano la cadena completa: evaluación automática, revisión manual y denuncia a la organización especializada. La guía de OpenAI puede servir como punto de partida, y si su empresa trabaja en moderación, conviene informarse sobre el acceso al clasificador a través de Tech Coalition o ROOST.
- 21 nov 2026llama.cpp вышел в версии 1.0.0: ломать C API без смены major больше нельзя
- 21 nov 2026La OTAN usa hasta 300.000 millones de tokens al mes en una herramienta de ciberdefensa de OpenAI
- 21 nov 2026Amp reemplazó los cuatro modos de Dial por la selección de modelo directamente dentro del hilo
- 21 nov 2026Un autor reemplazó su cara por un avatar de IA en YouTube: la duración media de visualización fue de 1 minuto frente a 5
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Clasificador: menos trabajo manual innecesario?
El nuevo modelo busca indicios visuales de abuso en las imágenes, también en las generadas por IA. Funciona con imágenes que nunca antes había visto, de modo que no se limita a cotejar con una base de archivos ya conocidos. Como resultado, el moderador recibe una puntuación. El modelo no emite un veredicto, sino que indica en qué fijarse primero y cómo proceder. OpenAI desarrolló la herramienta junto con el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC).
¿Qué se sabe sobre Advertencias en ChatGPT y guía para desarrolladores?
ChatGPT ya bloqueaba el CSAM y las consultas relacionadas. Ahora, ante un intento de este tipo, el chat mostrará una advertencia y dirigirá a la persona a ayuda especializada para frenar la conducta dañina. Después, la cuenta se bloqueará durante 24 horas. En caso de reincidencia, podría eliminarse de forma permanente. OpenAI preparó los textos de las advertencias junto con las organizaciones Protect Children y Lucy Faithfull Foundation, y con el investigador Joel Scanlan, de la Universidad de Tasmania.
¿Qué se sabe sobre Contexto y limitaciones?
El anuncio llega en un momento de presión sobre la compañía. Hay demandas contra OpenAI que acusan a la tecnología de dañar a los usuarios, especialmente a los menores. La organización Common Sense Media calificó los productos de OpenAI para adolescentes como un «riesgo inaceptable». Otros chatbots, en particular Grok, se han utilizado para crear imágenes sexualizadas sin consentimiento, incluidas de niños.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.