Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoOpenAI Blog→ original

OpenAI deixou quatro auditores externos entrarem nos bastidores dos seus modelos: Apollo, METR, Transluce e Goodfire

A OpenAI abriu o seu laboratório para quatro verificadores independentes: Apollo Research, METR, Transluce e Goodfire. Eles terão acesso não apenas às respostas da API, mas também a checkpoints, código e dados de treinamento. É como inspecionar a cozinha de um restaurante, e não apenas o prato servido na mesa. A busca será por falhas que a empresa não esperava, como um comportamento secreto da modelo contra os próprios desenvolvedores. Os resultados serão publicados, mas o direito de cortar informações confidenciais continua com a OpenAI.

Processado por IA de OpenAI Blog; editado por Hamidun News
OpenAI deixou quatro auditores externos entrarem nos bastidores dos seus modelos: Apollo, METR, Transluce e Goodfire
Fonte: OpenAI Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalOpenAI Blog ↗
Editor-chefe
Dado-chave #1A METR vai estudar o maior treinamento por aprendizado por reforço já feito pela OpenAI
Dado-chave #2A Transluce vai verificar os testes de alinhamento; a segunda etapa, de 8 semanas, acontece em 2027
Dado-chave #3Com dados sigilosos, os auditores trabalham apenas nos escritórios da OpenAI

Normalmente, a verificação externa de IA funciona assim: o laboratório lança um modelo, pesquisadores de terceiros testam o sistema via API e escrevem um relatório. Eles veem apenas o que a empresa decide mostrar. É como avaliar um restaurante provando um único prato, sem nunca deixar ninguém entrar na cozinha. A OpenAI anunciou outro formato, as chamadas «avaliações embutidas» (embedded assessments). A empresa firmou acordos com quatro equipes independentes: Apollo Research, METR, Transluce e Goodfire. Elas terão acesso profundo aos modelos e sistemas internos por um período prolongado. Se você desenvolve produtos com os modelos mais poderosos, essa é uma chance de entender até que ponto é possível confiar nas declarações de segurança dos laboratórios.

O que os verificadores vão receber e quem fará o quê

Dependendo da tarefa, os auditores terão acesso a parte dos mesmos recursos que os próprios pesquisadores da OpenAI. Isso inclui checkpoints do modelo (versões intermediárias salvas), código-fonte, dados de treinamento e de teste, sistemas de monitoramento, documentação técnica e conversas com engenheiros. A primeira fase se concentra no «alinhamento» (alignment, ou seja, a conformidade do comportamento do modelo com as intenções dos desenvolvedores) e nos mecanismos de proteção durante o treinamento e o uso interno.

A Apollo Research vai investigar se o modelo pode agir secretamente contra os desenvolvedores e se os sistemas de proteção perceberão isso. Para isso, a Apollo vai testar quatro afirmações da OpenAI: o treinamento não incentivou esse comportamento; testes rigorosos e red teaming não o provocam; durante o uso interno do modelo não houve tentativas desse tipo; e o raciocínio por trás de tal comportamento pode ser detectado. A verificação acontece em duas etapas.

A METR vai se ocupar de duas tarefas. A primeira é buscar comportamentos desalinhados no maior treinamento por aprendizado por reforço já feito pela OpenAI, incluindo falhas que os testes e monitores existentes deixaram passar. A própria METR definirá as prioridades e ajustará os métodos ao longo do trabalho. A segunda é a nova verificação dos monitores, isto é, dos sistemas que acompanham o comportamento dos modelos. Recentemente, a METR já realizou para a OpenAI exercícios desse tipo, de três semanas, com acesso à base de código e aos monitores. A nova verificação foi concebida de forma mais ampla, mas seu escopo ainda foi acordado apenas em caráter preliminar.

A Transluce vai avaliar a qualidade e a abrangência dos testes de alinhamento que a OpenAI executa após o ajuste fino. Em termos simples, vai verificar se esses testes detectam o que deveriam detectar. No início de 2027, as partes pretendem realizar uma segunda etapa de cerca de oito semanas, com acesso a um número maior de modelos e a informações sobre como os resultados dos testes influenciam as decisões de lançamento.

A Goodfire vai enviar pesquisadores de interpretabilidade. Eles usarão sua plataforma para observar a estrutura interna do modelo durante o monitoramento e a depuração do treinamento. Os principais destinatários das conclusões são os próprios pesquisadores da OpenAI, mas parte dos resultados da Goodfire será publicada.

Como foram protegidas a independência e os segredos

As regras para esse tipo de verificação ainda não são padronizadas em lugar nenhum, e a OpenAI publicou as suas para discussão. Quem trabalhar com informações sensíveis terá de atuar nos escritórios da OpenAI e usar equipamentos corporativos. Os requisitos de segurança não serão inferiores aos aplicados aos funcionários. Se o acesso direto aos pesos ou à arquitetura for arriscado demais, o auditor poderá ser colocado em par com um pesquisador da OpenAI, que executará ele mesmo as análises necessárias.

As conversas com funcionários acontecem «em off»: ajudam a entender o contexto, mas não podem ser citadas. Para que um fato possa ser divulgado mesmo assim, existe um caminho separado: o auditor pede à OpenAI que confirme a formulação. A empresa ou a confirma, ou recusa, e o auditor tem o direito de tornar público o fato da recusa.

Disputas entre a OpenAI e o auditor vão para o Safety Advisory Group e para a diretoria, que têm prazo limitado para decidir. Sem acordo, a questão é encaminhada ao Comitê de Segurança (SSC) do conselho de diretores da OpenAI Foundation. O comitê recebe os relatórios integralmente e pode se comunicar com os auditores, inclusive em particular.

Os próprios auditores podem publicar os resultados. Mas a OpenAI se reserva o direito de ocultar informações confidenciais e de pedir adiamento caso os problemas encontrados precisem ser corrigidos antes. Conflitos de interesse e «períodos de resfriamento» antes de os auditores trabalharem com outros laboratórios estão sendo definidos pela empresa em conjunto com os próprios auditores.

O que isso significa e onde estão os limites

Para o setor, trata-se de um passo rumo a uma auditoria externa que examina o processo de criação do modelo, e não apenas o produto final. A iniciativa também se relaciona aos compromissos da OpenAI no acordo da Casa Branca sobre IA superinteligente, no qual a empresa concordou com avaliações independentes de suas medidas de segurança.

As ressalvas são evidentes. Quem define os termos da verificação é a própria OpenAI: uma nota de rodapé informa que a primeira fase da METR é mais restrita do que a proposta original da própria empresa, que incluía uma revisão ampla de desalinhamento. O direito de editar os relatórios continua com a companhia. Verificações de conformidade com os frameworks internos de segurança e com a cultura organizacional ainda estão apenas em consideração.

Se você escolhe um fornecedor de modelos, acompanhe as publicações da Apollo, METR, Transluce e Goodfire. Com base nelas, ficará claro se essas verificações encontram problemas reais ou se permanecem uma formalidade.

História

Perguntas frequentes sobre a notícia

O que os verificadores vão receber e quem fará o quê?

Dependendo da tarefa, os auditores terão acesso a parte dos mesmos recursos que os próprios pesquisadores da OpenAI. Isso inclui checkpoints do modelo (versões intermediárias salvas), código-fonte, dados de treinamento e de teste, sistemas de monitoramento, documentação técnica e conversas com engenheiros.

Como foram protegidas a independência e os segredos?

As regras para esse tipo de verificação ainda não são padronizadas em lugar nenhum, e a OpenAI publicou as suas para discussão. Quem trabalhar com informações sensíveis terá de atuar nos escritórios da OpenAI e usar equipamentos corporativos. Os requisitos de segurança não serão inferiores aos aplicados aos funcionários. Se o acesso direto aos pesos ou à arquitetura for arriscado demais, o auditor poderá ser colocado em par com um pesquisador da OpenAI, que executará ele mesmo as análises necessárias.

O que isso significa e onde estão os limites?

Para o setor, trata-se de um passo rumo a uma auditoria externa que examina o processo de criação do modelo, e não apenas o produto final. A iniciativa também se relaciona aos compromissos da OpenAI no acordo da Casa Branca sobre IA superinteligente, no qual a empresa concordou com avaliações independentes de suas medidas de segurança. As ressalvas são evidentes.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…