Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHacker News AI→ original

Anthropic mostra como verifica o código que o Claude Code escreve em 90%

Quando um agente escreve cerca de 90% do código, ler cada diff à mão deixa de ser viável, e a equipe do Claude Code construiu a verificação como um sistema separado. A principal ferramenta são os testes end-to-end: o agente sobe a aplicação sozinho e percorre o fluxo do usuário. Em um teste interno, um agente verificador com checklist aumentou o sucesso das tarefas em 10 pontos. A conclusão é que, se você der ao agente um jeito de provar que o resultado está certo, dá para rodar dezenas de instâncias em paralelo.

Processado por IA de Hacker News AI; editado por Hamidun News
Anthropic mostra como verifica o código que o Claude Code escreve em 90%
Fonte: Hacker News AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHacker News AI ↗
Editor-chefe
Dado-chave #1O agente para e chama um humano se a verificação falhar três vezes seguidas
Dado-chave #2As regras de verificação são lidas da branch principal, e não do próprio pull request
O checklist tem 39 itenspara cada diff, normalmente disparam de 3 a 10

Se quase todo o código é escrito por agentes, o gargalo deixa de ser a geração e passa a ser a verificação. Na equipe do Claude Code, cerca de 90% do código é criado pelo próprio Claude, e a Anthropic contou como o controle de qualidade funciona nesse volume. Sem uma verificação confiável, você consegue conduzir um ou dois agentes, porque precisa olhar tudo pessoalmente. Com ela, é possível rodar dezenas e até centenas em paralelo.

O número vem de testes internos: na geração de arquivos estruturados, um agente verificador conferiu o trabalho do Claude contra uma rubrica de critérios. Isso aumentou em 10 pontos a fração de tarefas concluídas com sucesso, em comparação com o ciclo comum de "prompt — resposta". Os ganhos foram maiores nas tarefas mais complexas.

Três tipos de teste em que vale investir

Se for escolher apenas um, a equipe recomenda os testes end-to-end. Eles descrevem o caminho real do usuário: colocou o produto no carrinho, finalizou o pedido, viu a página de confirmação. Esse tipo de teste é difícil de enganar: a funcionalidade funciona por completo ou não funciona. Um teste unitário pode devolver "Timeout after 30 seconds", enquanto um teste end-to-end pode mostrar uma captura de tela com a descrição do que quebrou. Os testes unitários são mais rápidos e estáveis, mas podem passar e, mesmo assim, a função estar quebrada, porque nem o agente nem o teste enxergam a tarefa como um todo.

O segundo tipo são os property-based tests. Você formula uma afirmação que não pode ser violada, e a biblioteca gera milhares de entradas tentando refutá-la. Exemplos: codificar e depois decodificar um dado devolve o valor original; o saldo de uma conta nunca fica negativo; uma migração repetida produz o mesmo resultado que a primeira; o código otimizado coincide com uma versão simples, mas comprovadamente correta. Esses testes encontram casos de borda que o agente não imaginaria, porque não são gerados com o mesmo viés do código original.

O terceiro tipo são os testes diferenciais. Executa-se a versão antiga e a nova do sistema com as mesmas entradas e comparam-se os resultados. Qualquer divergência é um bug ou uma mudança que precisa ser aprovada explicitamente. O método é útil em reescritas, quando o comportamento deve permanecer igual. As entradas convém serem aleatórias ou amostradas do tráfego real, diferenças irrelevantes como espaços devem ser normalizadas, e as diferenças aceitáveis devem ser mantidas em uma lista.

Há ainda um alerta: testes instáveis ensinam o agente a reexecutar a verificação, em vez de consertar o código. Testes lentos fazem com que sejam rodados com menos frequência e dificultam encontrar a causa do problema.

Como isso funciona dentro da equipe

Verificar é executar a mudança. Para isso, o repositório recebe uma skill chamada verify, na pasta .claude/skills/, o mais perto possível do código relevante. Ela descreve como subir a aplicação ou o simulador, e o Claude a usa antes de fazer o commit. Para web, conecta-se a extensão do Chrome; para mobile, um MCP de iOS ou Android; para desktop, computer use; para backend, a execução local do serviço.

O humano é acionado por sinal de falha: se a verificação não passar após três rodadas de correção, o Claude para e repassa a tarefa às pessoas. As verificações são escritas pelos donos do código, e, quando um revisor é chamado, a verificação explica a causa para que ninguém precise investigar pelo diff.

Há uma checklist de confiabilidade com 39 itens. Cada um tem um gatilho legível no diff, a própria verificação e links para incidentes. O Claude analisa o diff e aplica apenas os itens pertinentes, normalmente de 3 a 10.

A principal regra de proteção: uma mudança não pode alterar a verificação que a julga. O Code Review lê o REVIEW.md da branch base, e não do pull request. O resultado de uma revisão vale apenas para o commit específico.

Um novo "portão" de commits é ativado em etapas, nos modos off, observe e enforce. No observe, ele apenas registra o que bloquearia, para analisar falsos positivos. No enforce, bloqueia o commit sem /code-review ou /verify, mas, após dois bloqueios na mesma sessão, deixa passar o seguinte, para que o agente não fique travado. Cada commit recebe uma marcação do método de verificação usado, incluindo "none".

Verificando os verificadores

A equipe acompanha quantas mudanças mescladas foram revertidas, quantas foram recusadas pelo mantenedor e compara com uma amostra limpa de mesmo tamanho. Para avaliar o revisor, monta-se um conjunto com incidentes passados: o repositório é restaurado ao estado da época da revisão e a resposta é uma única frase descrevendo onde está o bug. Pontos são dados apenas para uma descrição correta. O conjunto de calibração é separado do de teste, e a cobertura da busca é medida separadamente para os achados brutos, depois da filtragem e no resultado final, para verificar se bugs já encontrados não estão se perdendo. Os achados são marcados como Important, Nit ou Pre-existing.

Novas regras surgem por dois caminhos: a partir de comentários recorrentes de revisão e reversões (no mínimo dois PRs, três agentes tentando refutar, e um humano aprovando), e a partir de uma nova execução de três buscadores de bugs em um PR com incidente conhecido. O Claude não pode contornar testes instáveis, adicionar pausas ou reexecutá-los até ficarem verdes: sem a causa identificada, o teste é removido, com o motivo registrado.

O que levar para casa

Este é o relato da prática de uma equipe, e não uma pesquisa independente: o ganho de +10 pontos vem de testes internos. Mesmo assim, o conjunto de técnicas é aplicável em outros contextos: torne a verificação rápida e estável, proteja-a contra alterações pela própria mudança que ela avalia, avalie-a com bugs reais e limpe as regras com regularidade. Assim, o seu trabalho deixa de ser ler cada diff e passa a ser definir o que significa "pronto" e verificar as evidências.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Três tipos de teste em que vale investir?

Se for escolher apenas um, a equipe recomenda os testes end-to-end. Eles descrevem o caminho real do usuário: colocou o produto no carrinho, finalizou o pedido, viu a página de confirmação. Esse tipo de teste é difícil de enganar: a funcionalidade funciona por completo ou não funciona. Um teste unitário pode devolver "Timeout after 30 seconds", enquanto um teste end-to-end pode mostrar uma captura de tela com a descrição do que quebrou.

Como isso funciona dentro da equipe?

Verificar é executar a mudança. Para isso, o repositório recebe uma skill chamada verify, na pasta .claude/skills/, o mais perto possível do código relevante. Ela descreve como subir a aplicação ou o simulador, e o Claude a usa antes de fazer o commit. Para web, conecta-se a extensão do Chrome; para mobile, um MCP de iOS ou Android; para desktop, computer use; para backend, a execução local do serviço.

O que se sabe sobre Verificando os verificadores?

A equipe acompanha quantas mudanças mescladas foram revertidas, quantas foram recusadas pelo mantenedor e compara com uma amostra limpa de mesmo tamanho. Para avaliar o revisor, monta-se um conjunto com incidentes passados: o repositório é restaurado ao estado da época da revisão e a resposta é uma única frase descrevendo onde está o bug. Pontos são dados apenas para uma descrição correta.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…