Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Regras da equipe mudaram o plano do agente de código em 5 pontos de 5; auditorias repetidas, em 1

Contexto em excesso dilui a atenção do agente de código. O autor construiu com ele um serviço em Rust, entregou os dados em partes e, depois de cada uma, avaliou como o plano mudava: 1 — nada, 5 — novas seções e bifurcações que exigem um humano. As regras da equipe e seus repositórios renderam 5 de 5: o agente descobriu o framework interno redup-servicekit e trocou o stack. Já as auditorias repetidas ficaram com 1.

Processado por IA de Habr AI; editado por Hamidun News
Regras da equipe mudaram o plano do agente de código em 5 pontos de 5; auditorias repetidas, em 1
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
A nota máxima, 5, saiu em 2 dos 24 passosregras da equipe e exemplos de repositórios
A nota 1 saiu em 5 dos 24 passosesclarecimentos e três auditorias de controle sem novas correções
Uma auditoria inicial encontrou um bugo modo sync adicionava um /search a mais ao endereço e recebia 404

Ao entregar uma tarefa a um agente de código, dá vontade de anexar tudo: especificação técnica, documentação da API, regras da equipe, exemplos de código — "por precaução". Só que a janela de contexto é finita, e texto em excesso dilui a atenção do modelo. O autor do artigo no Habr testou qual contexto realmente ajuda e mediu assim: depois de cada porção de dados, o agente revisava o plano de implementação e avaliava, numa escala de 1 a 5, o quanto o plano tinha mudado.

A nota 1 significa "não é preciso mudar o plano"; a 5, "surgiram no plano novas seções e bifurcações entre as quais o agente não consegue escolher, e é preciso um humano". Por exemplo, as regras da equipe receberam 5 de 5, e as auditorias repetidas do código, 1. A conclusão prática: vale pôr no contexto aquilo que o agente não consegue deduzir sozinho; repetições e confirmações só gastam tokens.

Como a utilidade do contexto foi medida

A tarefa era real: escrever em Rust um serviço de busca textual sobre a Yandex Search API. O contexto foi entregue ao agente em porções, e não de uma só vez. O que se avaliou não foi o código final, mas o plano: ele reage aos novos dados mais rápido que o código e mostra bem o que o agente de fato levou em conta.

A pasta do projeto continha quatro arquivos: readme.md, com a descrição do projeto; plan.md, com o plano em si; logqa.md, com o histórico bruto de perguntas e respostas; e influence.md, com as notas de cada porção. O primeiro registro responde à pergunta "o que aconteceu"; o segundo, "qual foi a relevância".

A escala era esta:

  • 1 — não é preciso mudar o plano;
  • 2 — ajustes cosméticos e renomeações;
  • 3 — mudanças pequenas, sem novas seções;
  • 4 — mudanças sérias e novas seções;
  • 5 — novas seções mais caminhos alternativos entre os quais o agente não consegue escolher.

Aqui, o 5 significa que não dá para prescindir de um humano: são necessários acordos da equipe, políticas de segurança ou restrições externas.

O que virou o plano de cabeça para baixo e o que não mudou nada

Dos 24 passos, dois receberam a nota máxima. O primeiro foi o conjunto de regras corporativas de desenvolvimento. Depois dele, o plano ganhou seções sobre observabilidade, deploy, modelo de repositórios e testes. Também surgiram perguntas que o agente não sabia responder: REST/JSON ou gRPC/proto, como nomear os repositórios, se helm e k8s são necessários desde já, como entregar logs ao OpenSearch. São acordos da equipe, e não questões técnicas.

O segundo foi um conjunto de repositórios reais da empresa. O agente viu que a equipe já tinha um framework interno, o redup-servicekit, com observabilidade pronta, e descartou o stack montado à mão com metrics, prometheus e tower-http. Mudaram a configuração (YAML em vez de toml), a forma de incluir o proto (submódulo git) e o esquema de deploy. Nada disso dava para adivinhar a partir de uma especificação abstrata: esse conhecimento estava na cabeça da equipe e nos seus repositórios.

A documentação da API externa recebeu 4 pontos: ficou claro que era preciso usar a Yandex Search API v2, e não o antigo "Yandex.XML". Uma requisição real a ela, feita depois, rendeu apenas 3: esclareceu detalhes, mas não mudou a direção.

Cinco passos receberam 1 ponto: uma pergunta sobre como declarar uma dependência, um pedido para listar as decisões restantes e três auditorias de controle do código em sequência. Depois que todas as observações de severidade média já tinham sido corrigidas, o agente ainda foi instruído várias vezes a "analisar e corrigir". Ele respondia: não há nada novo, não há regressões, o código não mudou.

Ainda assim, as auditorias dos primeiros ciclos se pagaram. Uma delas encontrou um bug crítico: o modo sync adicionava /search a um endereço que já estava completo e recebia 404. O valor da auditoria caía à medida que os problemas encontrados eram corrigidos.

Conclusões para a prática

A partir da escala, o autor tira algumas regras.

  • Coloque a especificação técnica como arquivo no projeto. O agente pode relê-la a qualquer momento, enquanto um resumo no chat distorce o sentido e consome a janela de contexto.
  • Entregue no início as regras da equipe e os repositórios reais. Foram eles que renderam as notas 5. Se forem fornecidos depois, o plano terá de ser reescrito do zero, o que significa mais tokens e mais tempo.
  • Forneça a documentação de sistemas externos como fonte de fatos. Em paralelo, mantenha uma lista de questões em aberto e marque as que bloqueiam o andamento.
  • Passe ao humano as bifurcações de nota 5. Se o agente esbarrar em uma política de segurança ou em um acordo da equipe, é melhor que pergunte do que tente adivinhar.
  • Registre no plano as decisões fechadas imediatamente. Assim o agente não volta à mesma questão.
  • Não rode verificações repetidas sem dados novos. Cada execução custa tokens e minutos, e o retorno é próximo de zero.

O autor explica assim: uma nota alta significa que surgiu diante do humano um espaço de escolha que antes não existia. Uma nota baixa significa que tudo já está definido. A utilidade de uma mesma informação cai à medida que o plano ganha forma: as primeiras porções pesadas rendem mais, e depois o retorno diminui.

Limitações

O experimento é único: uma tarefa, um agente, um autor. As notas foram dadas pelo próprio agente, seguindo a escala definida, então não se trata de uma avaliação independente nem de um benchmark. Os resultados dificilmente se aplicam de forma idêntica a outros stacks e equipes. Mas o método pode ser repetido sem grandes custos: basta criar um registro e um arquivo de notas e ver quais partes do seu contexto realmente funcionam. Ao mesmo tempo, ficará claro onde você está pagando em tokens por ruído.

História

Perguntas frequentes sobre a notícia

Como a utilidade do contexto foi medida?

A tarefa era real: escrever em Rust um serviço de busca textual sobre a Yandex Search API. O contexto foi entregue ao agente em porções, e não de uma só vez. O que se avaliou não foi o código final, mas o plano: ele reage aos novos dados mais rápido que o código e mostra bem o que o agente de fato levou em conta.

O que virou o plano de cabeça para baixo e o que não mudou nada?

Dos 24 passos, dois receberam a nota máxima. O primeiro foi o conjunto de regras corporativas de desenvolvimento. Depois dele, o plano ganhou seções sobre observabilidade, deploy, modelo de repositórios e testes. Também surgiram perguntas que o agente não sabia responder: REST/JSON ou gRPC/proto, como nomear os repositórios, se helm e k8s são necessários desde já, como entregar logs ao OpenSearch. São acordos da equipe, e não questões técnicas. O segundo foi um conjunto de repositórios reais da empresa.

O que se sabe sobre Conclusões para a prática?

A partir da escala, o autor tira algumas regras. Coloque a especificação técnica como arquivo no projeto. O agente pode relê-la a qualquer momento, enquanto um resumo no chat distorce o sentido e consome a janela de contexto. Entregue no início as regras da equipe e os repositórios reais. Foram eles que renderam as notas 5. Se forem fornecidos depois, o plano terá de ser reescrito do zero, o que significa mais tokens e mais tempo. Forneça a documentação de sistemas externos como fonte de fatos.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…