Pesquisadores provam que inflar o AGENTS.md prejudica: o arquivo tem um limite de tamanho

No preprint do arXiv 2610.11007, o arquivo de contexto do agente, seja o AGENTS.md ou um equivalente, é descrito como um problema de otimização. No início de cada sessão, o agente LLM carrega esse arquivo inteiro, e cada token dele é pago de novo em cada rodada seguinte. Os autores provam um limite superior para o tamanho ideal do arquivo, e esse limite não depende do número de instruções candidatas disponíveis. Por mais regras que a equipe acumule, até certo tamanho elas ajudam; depois disso, o arquivo só atrapalha.

Na prática, esses arquivos costumam crescer por acréscimo. O agente errou, alguém adicionou uma linha. Seis meses depois, o arquivo tem centenas de linhas, e ninguém sabe quais delas funcionam.

Modelo: o arquivo como uma prateleira com atenção limitada

Os autores formulam a curadoria como um capacitated assortment problem, isto é, a escolha de um sortimento com capacidade limitada. As instruções ocupam tokens, e a atenção do modelo é finita. Adicionar uma nova instrução nunca aumenta a probabilidade de cumprimento das demais: só pode reduzi-la. Além disso, cada instrução mantida no arquivo tem um custo de manutenção por sessão.

Dessas premissas saem dois resultados:

• O arquivo ideal tem um teto de tamanho, que não depende do número de candidatos.
• A estratégia de "adicionar tudo o que é útil isoladamente" pode perder para o subconjunto ideal, em ganho líquido, por uma margem arbitrariamente grande.
• Um orçamento de tokens limita as perdas, mesmo que o custo do token tenha sido subestimado.

O último ponto é prático. Calcular o custo exato do token em um ciclo de agente é difícil, mas um limite rígido de tamanho do arquivo protege contra um erro grosseiro.

Feedback censurado

A segunda parte do trabalho trata do aprendizado com sessões passadas, e aqui surge um viés nos dados. Os benefícios e os prejuízos das instruções carregadas podem ser observados. Uma instrução ausente só deixa rastro quando a falta dela levou a um erro. Se não há regra e tudo correu bem, não se aprende nada sobre essa regra. Isso é a censura.

Disso decorre uma conclusão incômoda. Ao remover as instruções que o agente ignora, inevitavelmente serão removidas também instruções úteis. A ausência de um efeito visível nos logs não prova que a regra seja inútil.

Os autores também determinam quantas evidências é preciso reunir antes de adicionar uma nova instrução. Eles ainda estimam o regret para o caso em que os revisores humanos conseguem checar apenas um número limitado de alterações por período. Isso descreve um processo real: um curador automático propõe mudanças, e o humano fisicamente não consegue revisar todas.

O que os experimentos mostraram

A parte empírica é descrita de forma breve no resumo. Regras irrelevantes, retiradas de arquivos de contexto reais, reduzem o cumprimento de instruções pelo modelo de linguagem. Isso é coerente com a teoria, mas o resumo não traz números concretos. Quais modelos foram testados e quanto a precisão caiu só ficará claro no texto completo. Os resultados ainda são preliminares: trata-se da primeira versão do preprint, sem revisão por pares.

Como aplicar já

Para as equipes que mantêm AGENTS.md, CLAUDE.md ou arquivos semelhantes, o trabalho leva a algumas regras:

• Defina um limite rígido de tamanho para o arquivo e discuta explicitamente qualquer excesso.
• Adicione uma nova regra depois de várias falhas repetidas, e não depois da primeira.
• Não remova uma regra só porque o agente "não reage" a ela: primeiro verifique se ela não está evitando erros silenciosos.
• Periodicamente, remonte o arquivo a partir de um subconjunto das melhores regras e compare com a versão atual em tarefas reais.
• Passe as alterações automáticas por revisão em lotes pequenos, levando em conta a atenção limitada dos revisores.

É um trabalho teórico, e suas conclusões dependem das premissas do modelo, por exemplo, a de que uma nova instrução não aumenta o cumprimento das demais. Ainda assim, ele oferece um argumento formal contra o hábito de acrescentar linhas sem parar ao arquivo do agente.