Anthropic mostra como verifica o código que o Claude Code escreve em 90%
Quando um agente escreve cerca de 90% do código, ler cada diff à mão deixa de ser viável, e a equipe do Claude Code construiu a verificação como um sistema separado. A principal ferramenta são os testes end-to-end: o agente sobe a aplicação sozinho e percorre o fluxo do usuário. Em um teste interno, um agente verificador com checklist aumentou o sucesso das tarefas em 10 pontos. A conclusão é que, se você der ao agente um jeito de provar que o resultado está certo, dá para rodar dezenas de instâncias em paralelo.
Processado por IA de Hacker News AI; editado por Hamidun News
Se quase todo o código é escrito por agentes, o gargalo deixa de ser a geração e passa a ser a verificação. Na equipe do Claude Code, cerca de 90% do código é criado pelo próprio Claude, e a Anthropic contou como o controle de qualidade funciona nesse volume. Sem uma verificação confiável, você consegue conduzir um ou dois agentes, porque precisa olhar tudo pessoalmente. Com ela, é possível rodar dezenas e até centenas em paralelo.
O número vem de testes internos: na geração de arquivos estruturados, um agente verificador conferiu o trabalho do Claude contra uma rubrica de critérios. Isso aumentou em 10 pontos a fração de tarefas concluídas com sucesso, em comparação com o ciclo comum de "prompt — resposta". Os ganhos foram maiores nas tarefas mais complexas.
Três tipos de teste em que vale investir
Se for escolher apenas um, a equipe recomenda os testes end-to-end. Eles descrevem o caminho real do usuário: colocou o produto no carrinho, finalizou o pedido, viu a página de confirmação. Esse tipo de teste é difícil de enganar: a funcionalidade funciona por completo ou não funciona. Um teste unitário pode devolver "Timeout after 30 seconds", enquanto um teste end-to-end pode mostrar uma captura de tela com a descrição do que quebrou. Os testes unitários são mais rápidos e estáveis, mas podem passar e, mesmo assim, a função estar quebrada, porque nem o agente nem o teste enxergam a tarefa como um todo.
O segundo tipo são os property-based tests. Você formula uma afirmação que não pode ser violada, e a biblioteca gera milhares de entradas tentando refutá-la. Exemplos: codificar e depois decodificar um dado devolve o valor original; o saldo de uma conta nunca fica negativo; uma migração repetida produz o mesmo resultado que a primeira; o código otimizado coincide com uma versão simples, mas comprovadamente correta. Esses testes encontram casos de borda que o agente não imaginaria, porque não são gerados com o mesmo viés do código original.
O terceiro tipo são os testes diferenciais. Executa-se a versão antiga e a nova do sistema com as mesmas entradas e comparam-se os resultados. Qualquer divergência é um bug ou uma mudança que precisa ser aprovada explicitamente. O método é útil em reescritas, quando o comportamento deve permanecer igual. As entradas convém serem aleatórias ou amostradas do tráfego real, diferenças irrelevantes como espaços devem ser normalizadas, e as diferenças aceitáveis devem ser mantidas em uma lista.
Há ainda um alerta: testes instáveis ensinam o agente a reexecutar a verificação, em vez de consertar o código. Testes lentos fazem com que sejam rodados com menos frequência e dificultam encontrar a causa do problema.
Como isso funciona dentro da equipe
Verificar é executar a mudança. Para isso, o repositório recebe uma skill chamada verify, na pasta .claude/skills/, o mais perto possível do código relevante. Ela descreve como subir a aplicação ou o simulador, e o Claude a usa antes de fazer o commit. Para web, conecta-se a extensão do Chrome; para mobile, um MCP de iOS ou Android; para desktop, computer use; para backend, a execução local do serviço.
O humano é acionado por sinal de falha: se a verificação não passar após três rodadas de correção, o Claude para e repassa a tarefa às pessoas. As verificações são escritas pelos donos do código, e, quando um revisor é chamado, a verificação explica a causa para que ninguém precise investigar pelo diff.
Há uma checklist de confiabilidade com 39 itens. Cada um tem um gatilho legível no diff, a própria verificação e links para incidentes. O Claude analisa o diff e aplica apenas os itens pertinentes, normalmente de 3 a 10.
A principal regra de proteção: uma mudança não pode alterar a verificação que a julga. O Code Review lê o REVIEW.md da branch base, e não do pull request. O resultado de uma revisão vale apenas para o commit específico.
Um novo "portão" de commits é ativado em etapas, nos modos off, observe e enforce. No observe, ele apenas registra o que bloquearia, para analisar falsos positivos. No enforce, bloqueia o commit sem /code-review ou /verify, mas, após dois bloqueios na mesma sessão, deixa passar o seguinte, para que o agente não fique travado. Cada commit recebe uma marcação do método de verificação usado, incluindo "none".
Verificando os verificadores
A equipe acompanha quantas mudanças mescladas foram revertidas, quantas foram recusadas pelo mantenedor e compara com uma amostra limpa de mesmo tamanho. Para avaliar o revisor, monta-se um conjunto com incidentes passados: o repositório é restaurado ao estado da época da revisão e a resposta é uma única frase descrevendo onde está o bug. Pontos são dados apenas para uma descrição correta. O conjunto de calibração é separado do de teste, e a cobertura da busca é medida separadamente para os achados brutos, depois da filtragem e no resultado final, para verificar se bugs já encontrados não estão se perdendo. Os achados são marcados como Important, Nit ou Pre-existing.
Novas regras surgem por dois caminhos: a partir de comentários recorrentes de revisão e reversões (no mínimo dois PRs, três agentes tentando refutar, e um humano aprovando), e a partir de uma nova execução de três buscadores de bugs em um PR com incidente conhecido. O Claude não pode contornar testes instáveis, adicionar pausas ou reexecutá-los até ficarem verdes: sem a causa identificada, o teste é removido, com o motivo registrado.
O que levar para casa
Este é o relato da prática de uma equipe, e não uma pesquisa independente: o ganho de +10 pontos vem de testes internos. Mesmo assim, o conjunto de técnicas é aplicável em outros contextos: torne a verificação rápida e estável, proteja-a contra alterações pela própria mudança que ela avalia, avalie-a com bugs reais e limpe as regras com regularidade. Assim, o seu trabalho deixa de ser ler cada diff e passa a ser definir o que significa "pronto" e verificar as evidências.
- 21 de nov. de 2026Anthropic cortou em 20% o preço do Claude Fable 5.2, e no teste de código ele quase empata com o Opus 5.5
- 21 de nov. de 2026Califórnia processa OpenAI: seus agentes de IA saíram do controle ao menos 80 vezes
- 21 de nov. de 2026Dreamteam capta US$ 53 milhões para um CRM que se preenche sozinho a partir de e-mails e ligações
- 21 de nov. de 2026Claude Opus 5.5 completa o horror Dimension 9 a partir de 15 salas criadas pelo autor
Perguntas frequentes sobre a notícia
O que se sabe sobre Três tipos de teste em que vale investir?
Se for escolher apenas um, a equipe recomenda os testes end-to-end. Eles descrevem o caminho real do usuário: colocou o produto no carrinho, finalizou o pedido, viu a página de confirmação. Esse tipo de teste é difícil de enganar: a funcionalidade funciona por completo ou não funciona. Um teste unitário pode devolver "Timeout after 30 seconds", enquanto um teste end-to-end pode mostrar uma captura de tela com a descrição do que quebrou.
Como isso funciona dentro da equipe?
Verificar é executar a mudança. Para isso, o repositório recebe uma skill chamada verify, na pasta .claude/skills/, o mais perto possível do código relevante. Ela descreve como subir a aplicação ou o simulador, e o Claude a usa antes de fazer o commit. Para web, conecta-se a extensão do Chrome; para mobile, um MCP de iOS ou Android; para desktop, computer use; para backend, a execução local do serviço.
O que se sabe sobre Verificando os verificadores?
A equipe acompanha quantas mudanças mescladas foram revertidas, quantas foram recusadas pelo mantenedor e compara com uma amostra limpa de mesmo tamanho. Para avaliar o revisor, monta-se um conjunto com incidentes passados: o repositório é restaurado ao estado da época da revisão e a resposta é uma única frase descrevendo onde está o bug. Pontos são dados apenas para uma descrição correta.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.