Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAPI / Producto · Listo para usarTechCrunch→ original

OpenAI lanzó un detector de CSAM: los moderadores reciben un 48% menos de imágenes para revisar

OpenAI ha lanzado un detector de CSAM, el nombre que se da al material de abuso sexual infantil, incluido el generado con IA. El modelo asigna una puntuación a cada imagen nueva, y la decisión final la toma un moderador. En pruebas con socios, marcó un 48% menos de imágenes y detectó el mismo número de infracciones reales, de modo que llega menos contenido inofensivo a la revisión manual. Para las plataformas que reciben fotos de los usuarios, esto supone un ahorro de tiempo para los moderadores.

Procesado por IA desde TechCrunch; editado por Hamidun News
OpenAI lanzó un detector de CSAM: los moderadores reciben un 48% menos de imágenes para revisar
Fuente: TechCrunch. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTechCrunch ↗
Editor jefe
Dato clave #1Las imágenes marcadas resultan ser infracciones reales el doble de veces
Dato clave #2ChatGPT mostrará una advertencia y bloqueará la cuenta durante 24 horas
Dato clave #3El acceso a la API es gratuito, pero por ahora solo para empresas seleccionadas

Cualquier plataforma en la que los usuarios suben imágenes o las generan con IA tarde o temprano se enfrenta al CSAM, la sigla con la que se conoce el material de abuso sexual infantil. Los modelos generativos han agravado el problema: ahora estas imágenes no solo se pueden distribuir, sino también crear. OpenAI anunció un paquete de medidas en cuatro frentes: un nuevo clasificador de imágenes, advertencias en ChatGPT, una guía para desarrolladores y herramientas para la policía.

La cifra clave del paquete es 48%. En las primeras pruebas con socios, el clasificador marcó un 48% menos de imágenes que el enfoque anterior, mientras que el número de infracciones reales detectadas se mantuvo igual. En pocas palabras: al moderador llegan menos imágenes inofensivas que hay que revisar a ojo, y los casos reales no se pierden.

Clasificador: menos trabajo manual innecesario

El nuevo modelo busca indicios visuales de abuso en las imágenes, también en las generadas por IA. Funciona con imágenes que nunca antes había visto, de modo que no se limita a cotejar con una base de archivos ya conocidos. Como resultado, el moderador recibe una puntuación. El modelo no emite un veredicto, sino que indica en qué fijarse primero y cómo proceder.

OpenAI desarrolló la herramienta junto con el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). La compañía distribuye el acceso a través de la API de forma gratuita, pero por ahora solo a organizaciones seleccionadas. La difusión corre a cargo de Tech Coalition y ROOST.

Otra cifra de las pruebas: las imágenes marcadas por el clasificador resultan ser infracciones reales el doble de veces. Para los moderadores esto también es una cuestión de carga psicológica: cada imagen dudosa de más la tiene que ver una persona.

Advertencias en ChatGPT y guía para desarrolladores

ChatGPT ya bloqueaba el CSAM y las consultas relacionadas. Ahora, ante un intento de este tipo, el chat mostrará una advertencia y dirigirá a la persona a ayuda especializada para frenar la conducta dañina. Después, la cuenta se bloqueará durante 24 horas. En caso de reincidencia, podría eliminarse de forma permanente.

OpenAI preparó los textos de las advertencias junto con las organizaciones Protect Children y Lucy Faithfull Foundation, y con el investigador Joel Scanlan, de la Universidad de Tasmania. Scanlan evaluó de forma independiente el piloto con los mensajes destinados a disuadir a las personas de hacer este tipo de consultas.

Por separado, la compañía publicó una guía para desarrolladores que usan sus herramientas. En ella se explica cómo prevenir y detectar el CSAM y cómo ayudar a los usuarios a denunciarlo. Según OpenAI, en las pruebas iniciales la guía ayudó a varios desarrolladores a integrar herramientas de protección infantil y a registrarse para enviar denuncias al NCMEC.

Para las fuerzas del orden que investigan delitos contra la seguridad infantil, la compañía añade funciones de IA: plugins, herramientas de investigación y análisis de conjuntos de datos complejos. El acceso lo gestionan los administradores del programa. A los investigadores se les ofrecen formación y una guía de campo sobre el uso de la IA.

Contexto y limitaciones

El anuncio llega en un momento de presión sobre la compañía. Hay demandas contra OpenAI que acusan a la tecnología de dañar a los usuarios, especialmente a los menores. La organización Common Sense Media calificó los productos de OpenAI para adolescentes como un «riesgo inaceptable». Otros chatbots, en particular Grok, se han utilizado para crear imágenes sexualizadas sin consentimiento, incluidas de niños. En los últimos 12 meses, OpenAI ya publicó un plan de seguridad, actualizó sus normas de contenido, reentrenó sus modelos y lanzó una versión de ChatGPT para adolescentes.

Hay matices que tener en cuenta. Las cifras del 48% y de «el doble» proceden de las primeras pruebas con socios y, por ahora, las da a conocer la propia compañía. El material no incluye una verificación independiente. No todos tendrán acceso al clasificador: se entrega a empresas seleccionadas. La puntuación sigue siendo una orientación, y la decisión final la toma una persona.

Para los equipos de producto la conclusión es sencilla. Si el servicio permite subir o generar imágenes, hay que diseñar de antemano la cadena completa: evaluación automática, revisión manual y denuncia a la organización especializada. La guía de OpenAI puede servir como punto de partida, y si su empresa trabaja en moderación, conviene informarse sobre el acceso al clasificador a través de Tech Coalition o ROOST.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Clasificador: menos trabajo manual innecesario?

El nuevo modelo busca indicios visuales de abuso en las imágenes, también en las generadas por IA. Funciona con imágenes que nunca antes había visto, de modo que no se limita a cotejar con una base de archivos ya conocidos. Como resultado, el moderador recibe una puntuación. El modelo no emite un veredicto, sino que indica en qué fijarse primero y cómo proceder. OpenAI desarrolló la herramienta junto con el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC).

¿Qué se sabe sobre Advertencias en ChatGPT y guía para desarrolladores?

ChatGPT ya bloqueaba el CSAM y las consultas relacionadas. Ahora, ante un intento de este tipo, el chat mostrará una advertencia y dirigirá a la persona a ayuda especializada para frenar la conducta dañina. Después, la cuenta se bloqueará durante 24 horas. En caso de reincidencia, podría eliminarse de forma permanente. OpenAI preparó los textos de las advertencias junto con las organizaciones Protect Children y Lucy Faithfull Foundation, y con el investigador Joel Scanlan, de la Universidad de Tasmania.

¿Qué se sabe sobre Contexto y limitaciones?

El anuncio llega en un momento de presión sobre la compañía. Hay demandas contra OpenAI que acusan a la tecnología de dañar a los usuarios, especialmente a los menores. La organización Common Sense Media calificó los productos de OpenAI para adolescentes como un «riesgo inaceptable». Otros chatbots, en particular Grok, se han utilizado para crear imágenes sexualizadas sin consentimiento, incluidas de niños.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…