Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoTechCrunch→ original

OpenAI lançou um detector de CSAM: moderadores recebem 48% menos imagens para revisar

A OpenAI lançou um detector de CSAM, sigla usada para material de abuso sexual infantil, incluindo conteúdo gerado por IA. O modelo avalia cada nova imagem com uma pontuação, e a decisão final cabe ao moderador. Em testes com parceiros, ele sinalizou 48% menos imagens e encontrou a mesma quantidade de violações reais, de modo que chegaram menos fotos inofensivas para revisão manual. Para plataformas com upload de fotos, isso significa economia de tempo para os moderadores.

Processado por IA de TechCrunch; editado por Hamidun News
OpenAI lançou um detector de CSAM: moderadores recebem 48% menos imagens para revisar
Fonte: TechCrunch. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTechCrunch ↗
Editor-chefe
Dado-chave #1Imagens sinalizadas são duas vezes mais frequentemente violações reais
Dado-chave #2O ChatGPT exibirá um aviso e bloqueará a conta por 24 horas
Dado-chave #3O acesso à API é gratuito, mas, por enquanto, apenas para empresas selecionadas

Qualquer plataforma em que usuários enviam imagens ou as geram com IA, cedo ou tarde, se depara com CSAM, a sigla para material de abuso sexual infantil. Os modelos generativos tornaram o problema mais agudo: essas imagens agora podem não apenas ser distribuídas, mas também criadas. A OpenAI anunciou um conjunto de medidas em quatro frentes: um novo classificador de imagens, avisos no ChatGPT, um guia para desenvolvedores e ferramentas para a polícia.

O principal número do pacote é 48%. Nos primeiros testes com parceiros, o classificador sinalizou 48% menos imagens do que a abordagem anterior, e o número de violações reais encontradas permaneceu o mesmo. Em outras palavras: os moderadores recebem menos imagens inofensivas para olhar a olho nu, e os casos reais não se perdem.

Classificador: menos trabalho manual desnecessário

O novo modelo procura sinais visuais de abuso nas imagens, inclusive as geradas por IA. Ele também funciona com imagens que nunca viu antes, ou seja, não se limita a comparar com uma base de arquivos já conhecidos. Como resultado, o moderador recebe uma pontuação. Ela não emite um veredito, apenas indica o que examinar primeiro e como agir em seguida.

A OpenAI desenvolveu a ferramenta em conjunto com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC). A empresa distribui o acesso via API gratuitamente, mas, por enquanto, apenas para organizações selecionadas. A distribuição é feita junto com a Tech Coalition e a ROOST.

O segundo número dos testes: imagens com sinalização do classificador são duas vezes mais frequentemente violações reais. Para os moderadores, isso também é uma questão de carga psicológica: cada imagem duvidosa a mais precisa ser vista por uma pessoa.

Avisos no ChatGPT e instruções para desenvolvedores

O ChatGPT já bloqueava CSAM e solicitações relacionadas. Agora, diante dessa tentativa, o chat exibirá um aviso e encaminhará a pessoa para ajuda especializada, a fim de interromper o comportamento nocivo. Em seguida, a conta será bloqueada por 24 horas. Em caso de violações repetidas, ela poderá ser excluída permanentemente.

Os textos dos avisos foram preparados pela OpenAI com as organizações Protect Children, Lucy Faithfull Foundation e o pesquisador Joel Scanlan, da Universidade da Tasmânia. Scanlan avaliou de forma independente o piloto com mensagens destinadas a dissuadir as pessoas de fazer tais solicitações.

Além disso, a empresa publicou um guia para desenvolvedores que usam suas ferramentas. Nele estão descritas formas de prevenir e identificar CSAM e de ajudar os usuários a denunciá-lo. Segundo a OpenAI, nos testes iniciais, o guia ajudou alguns desenvolvedores a integrar ferramentas de proteção infantil e a se cadastrar para enviar denúncias ao NCMEC.

Para as autoridades policiais que trabalham com casos de segurança infantil, a empresa acrescenta recursos de IA: plugins, ferramentas de investigação e análise de conjuntos complexos de dados. O acesso é controlado pelos administradores do programa. Aos investigadores são oferecidos treinamento e um manual de campo sobre o uso de IA.

Contexto e limitações

O anúncio surge sob pressão sobre a empresa. Há processos contra a OpenAI que acusam a tecnologia de causar danos aos usuários, especialmente às crianças. A organização Common Sense Media avaliou os produtos da OpenAI para adolescentes como representando um "risco inaceitável". Outros chatbots, em particular o Grok, foram usados para criar imagens sexualizadas sem consentimento, inclusive de crianças. Nos últimos 12 meses, a OpenAI já publicou um plano de segurança, atualizou as regras de conteúdo, refinou seus modelos e lançou uma versão do ChatGPT para adolescentes.

É preciso fazer algumas ressalvas. Os índices de 48% e "duas vezes" vêm de testes iniciais com parceiros e, por ora, são divulgados pela própria empresa. Não há verificação independente no material. O acesso ao classificador não será para todos: ele é concedido a empresas escolhidas. A pontuação continua sendo uma sugestão, e a decisão final cabe a uma pessoa.

Para as equipes de produto, a conclusão é direta. Se o serviço permite upload ou geração de imagens, é preciso planejar com antecedência a cadeia: avaliação automática, revisão manual e denúncia à organização especializada. O guia da OpenAI pode ser usado como ponto de partida, e, se sua empresa trabalha com moderação, vale verificar o acesso ao classificador por meio da Tech Coalition ou da ROOST.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Classificador: menos trabalho manual desnecessário?

O novo modelo procura sinais visuais de abuso nas imagens, inclusive as geradas por IA. Ele também funciona com imagens que nunca viu antes, ou seja, não se limita a comparar com uma base de arquivos já conhecidos. Como resultado, o moderador recebe uma pontuação. Ela não emite um veredito, apenas indica o que examinar primeiro e como agir em seguida. A OpenAI desenvolveu a ferramenta em conjunto com o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC).

O que se sabe sobre Avisos no ChatGPT e instruções para desenvolvedores?

O ChatGPT já bloqueava CSAM e solicitações relacionadas. Agora, diante dessa tentativa, o chat exibirá um aviso e encaminhará a pessoa para ajuda especializada, a fim de interromper o comportamento nocivo. Em seguida, a conta será bloqueada por 24 horas. Em caso de violações repetidas, ela poderá ser excluída permanentemente. Os textos dos avisos foram preparados pela OpenAI com as organizações Protect Children, Lucy Faithfull Foundation e o pesquisador Joel Scanlan, da Universidade da Tasmânia.

O que se sabe sobre Contexto e limitações?

O anúncio surge sob pressão sobre a empresa. Há processos contra a OpenAI que acusam a tecnologia de causar danos aos usuários, especialmente às crianças. A organização Common Sense Media avaliou os produtos da OpenAI para adolescentes como representando um "risco inaceitável". Outros chatbots, em particular o Grok, foram usados para criar imagens sexualizadas sem consentimento, inclusive de crianças.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…