Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarThe Verge→ original

OpenAI lanza un filtro de deepfakes infantiles para investigadores: un 48 % menos de falsas alarmas

Las líneas directas de abuso infantil se están hundiendo en falsificaciones generadas por IA: en 2025 el centro NCMEC recibió 400 000 denuncias relacionadas con IA generativa, frente a 67 000 un año antes. OpenAI ha publicado un clasificador que detecta imágenes de abuso sexual infantil (CSAM) y señala si han sido generadas por IA. Según la compañía, los falsos positivos se reducen un 48 %, y lo que detecta es el doble de probable que esté realmente prohibido. Las plataformas con fotos de usuarios deberían incorporar este tipo de clasificación a su moderación.

Procesado por IA desde The Verge; editado por Hamidun News
OpenAI lanza un filtro de deepfakes infantiles para investigadores: un 48 % menos de falsas alarmas
Fuente: The Verge. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalThe Verge ↗
Editor jefe
Dato clave #1El acceso gratuito solo lo recibirán organizaciones verificadas
Dato clave #2Si un usuario intenta generar este contenido en ChatGPT por primera vez: pausa de 24 horas
Dato clave #3Take It Down exige eliminar imágenes íntimas sin consentimiento en 48 horas

Imagine a un investigador de guardia con una cola llena de alertas sobre imágenes infantiles, en la que buena parte resultan ser falsificaciones dibujadas por una red neuronal o imágenes totalmente inofensivas. Mientras revisa esa basura, el niño real que necesita ayuda sigue esperando. Ese es el problema al que se enfrentan los servicios estadounidenses, y OpenAI presentó en una sesión informativa en Washington una herramienta de clasificación: un clasificador, es decir, un modelo que analiza una imagen y decide si contiene abuso sexual infantil (en la práctica anglosajona, CSAM). El resultado declarado es un 48 % menos de falsos positivos y, entre las imágenes marcadas, una proporción el doble de alta de contenido realmente prohibido.

Qué ha publicado exactamente OpenAI

La principal novedad del clasificador es su etiqueta independiente «generado por IA». Según John Buckley, responsable de política pública de OpenAI en seguridad infantil, se trata de la primera herramienta de este tipo ampliamente disponible con ese indicador. Está pensada para imágenes de distintas fuentes, incluidos modelos abiertos y aplicaciones de «desnudado» de fotos.

Lo que significan las cifras en la práctica: si antes el sistema generaba, por ejemplo, cien alertas, ahora marca aproximadamente la mitad de falsas alarmas, y la proporción de hallazgos reales entre las restantes se duplica. El investigador tiene menos ruido y más material con el que trabajar. Matiz: estos datos los aporta la propia OpenAI; el artículo no incluye una verificación independiente.

Además del modelo, la empresa promete tres cosas: acceso gratuito para organizaciones verificadas, recomendaciones metodológicas para desarrolladores sobre cómo detectar este contenido y formación para agentes de las fuerzas del orden sobre cómo la IA puede ayudar en las investigaciones.

Por qué se ha vuelto una prioridad urgente

En EE. UU., el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) recoge y clasifica las denuncias de este tipo de material a través de su sistema CyberTipline. En 2024 recibió 67 000 avisos relacionados con IA generativa, y en 2025 ya fueron 400 000. Los investigadores advierten de que esa carga puede volverse «insostenible». No es solo cuestión de volumen: el flujo de imágenes falsas impide saber si un niño concreto está sufriendo daño en este momento.

El fiscal general de Carolina del Norte, Jeff Jackson, copresidente del grupo de trabajo sobre IA de la AG Alliance, calificó el aumento de denuncias de «explosivo» y afirmó que, a este ritmo, «vamos a fracasar en nuestra misión». Según él, los fiscales suelen actuar después de producirse el daño, mientras que aquí se ha probado un modelo de prevención conjunta. Él mismo lo describió como «básicamente un experimento».

Buckley subrayó que distinguir a un menor ficticio de uno real es importante para remitir los informes a la policía. Sin embargo, a su juicio las leyes deben reconocer también el daño de las versiones generadas por IA, porque socavan las normas sociales y aparecen con frecuencia junto a material con menores reales.

Presión regulatoria y medidas dentro de ChatGPT

El contexto para OpenAI es complicado. En 48 estados de EE. UU. existen leyes sobre deepfakes sexuales, y la ley Take It Down obliga a las plataformas a eliminar imágenes íntimas sin consentimiento, reales o generadas, en un plazo de 48 horas. El nuevo Congreso podría endurecer los requisitos para las empresas de IA. El mes pasado, ocho estados presentaron una demanda contra OpenAI por otros presuntos daños a menores, incluidas acusaciones de que ChatGPT fomentaba el consumo de sustancias prohibidas y el suicidio.

El generador de imágenes de ChatGPT ya rechazaba peticiones de este tipo. Ahora, quien intente hacerlas verá una advertencia elaborada con expertos, con un llamamiento a buscar ayuda. Un primer intento conlleva una pausa de 24 horas en el acceso a ChatGPT y una advertencia de que la cuenta podría cerrarse definitivamente. OpenAI afirma que informa al NCMEC de todos los casos de CSAM.

Qué implica esto para los profesionales

En primer lugar, la etiqueta «IA o no IA» se convierte en una herramienta de trabajo para priorizar casos, y es previsible que se pida lo mismo a las plataformas que alojan imágenes. En segundo lugar, hay limitaciones: el acceso lo tendrán solo organizaciones verificadas, no cualquier desarrollador, y por ahora se trata de un experimento. Si usted desarrolla generación de imágenes o aloja fotos de usuarios, conviene planificar de antemano la cadena completa: filtro en la entrada, clasificación de lo sospechoso y remisión de informes a los organismos competentes.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué ha publicado exactamente OpenAI?

La principal novedad del clasificador es su etiqueta independiente «generado por IA». Según John Buckley, responsable de política pública de OpenAI en seguridad infantil, se trata de la primera herramienta de este tipo ampliamente disponible con ese indicador. Está pensada para imágenes de distintas fuentes, incluidos modelos abiertos y aplicaciones de «desnudado» de fotos.

¿Qué se sabe sobre Por qué se ha vuelto una prioridad urgente?

En EE. UU., el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) recoge y clasifica las denuncias de este tipo de material a través de su sistema CyberTipline. En 2024 recibió 67 000 avisos relacionados con IA generativa, y en 2025 ya fueron 400 000. Los investigadores advierten de que esa carga puede volverse «insostenible». No es solo cuestión de volumen: el flujo de imágenes falsas impide saber si un niño concreto está sufriendo daño en este momento.

¿Qué se sabe sobre Presión regulatoria y medidas dentro de ChatGPT?

El contexto para OpenAI es complicado. En 48 estados de EE. UU. existen leyes sobre deepfakes sexuales, y la ley Take It Down obliga a las plataformas a eliminar imágenes íntimas sin consentimiento, reales o generadas, en un plazo de 48 horas. El nuevo Congreso podría endurecer los requisitos para las empresas de IA. El mes pasado, ocho estados presentaron una demanda contra OpenAI por otros presuntos daños a menores, incluidas acusaciones de que ChatGPT fomentaba el consumo de sustancias prohibidas y el suicidio.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…