Agente com janela de 16K mantém 70,2% no SWE-bench Verified reiniciando o contexto a cada passo

Todo mundo se acostumou à ideia de que um agente em uma tarefa longa precisa de uma janela de contexto enorme: quanto mais couber, melhor. Um novo trabalho, "You don't need long context" (Belcak, Molchanov e coautores), afirma o contrário: uma janela curta basta se o arnês (harness) for bem construído.

O que os autores propuseram

A ideia é simples. Em vez de acumular o histórico da conversa até o limite, o arnês o reinicia periodicamente e começa uma nova sessão. Apenas um resumo de trabalho estruturado é transferido. Arquivos grandes não são carregados inteiros no contexto: o agente busca o que precisa com utilitários de Bash como grep e lê em janelas limitadas.

Há dois modos. O End-of-Conversation Compaction (EoCC) comprime a conversa quando um limite de tokens é atingido. O Single-Action Compaction (SAC) é mais radical e reinicia o contexto após cada ação.

Imagine um desenvolvedor corrigindo um bug em um repositório grande. Ele não relê toda a base de código a cada passo. Ele mantém anotações: o que já verificou, o que está quebrado, o que tentou em vão. Aqui é a mesma coisa, só que quem faz as anotações é o arnês.

O que foi obtido

Em benchmarks de longo horizonte e com documentos grandes, a janela curta preserva a precisão e às vezes até a melhora. O custo de decodificação em GPU cai em até 7 vezes ao passar de 256K para 16K tokens. Mesmo no rigoroso modo SAC, o Claude Opus 4.5 resolve 70,2% das tarefas do SWE-bench Verified.

Também é positivo que os autores tenham descrito o formato do resumo. É um handoff brief de seis partes: objetivo, fatos verificados separados das hipóteses, alterações feitas, verificações executadas, becos sem saída e plano dos próximos passos. Separar fatos de hipóteses evita que um palpite, depois de recontado, vire uma "verdade estabelecida".

Um skill para o Claude Code

O artigo não tem código, então Zhemal Khamidun, do gonzo-obzory, pediu ao Claude que montasse um skill que reproduzisse a abordagem. Ele está no repositório short-context-agent. O skill ensina o agente a não carregar arquivos grandes no contexto, mas a buscar neles e lê-los em janelas, e a manter esse mesmo brief em tarefas longas de vários passos.

O reinício do contexto continua sendo gerenciado pelo Claude Code: autocompactação por limite, ou /compact e /clear manualmente. O hook do plugin recoloca o brief e o agente continua do mesmo ponto. Isso resulta no modo EoCC. O modo SAC não pode ser reproduzido no Claude Code; ele existe apenas no arnês de referência do repositório, junto com o EoCC e um baseline sem compactação. O autor avisa com honestidade que não testou com cuidado, que pode haver bugs e que PRs são bem-vindos.

Limitações

Primeira: o reinício do contexto quebra o cache de prompts. Cada nova sessão começa com um prefixo frio, então você pode não economizar dinheiro, mesmo que a economia de GPU na decodificação seja real. O ganho de 7 vezes se refere ao custo de decodificação, não à sua fatura com o provedor.

Segunda: modelos abertos fracos podem desmoronar. Se um modelo é prolixo, ele esgota o orçamento rígido da janela antes de terminar a tarefa. Os resultados com o Opus 4.5 não podem ser transferidos automaticamente para qualquer modelo.

Terceira: o skill é não oficial e ainda cru; não é uma implementação verificada dos autores.

O que fazer na prática

Se você constrói agentes, verifique três coisas. Não obrigue o agente a ler arquivos grandes inteiros; deixe-o buscar e ler em janelas. Crie um resumo explícito que separe fatos de hipóteses. E calcule o custo real considerando o reinício do cache, e não apenas o tamanho da janela. Para modelos self-hosted a ideia é ainda mais interessante: treinar e executar um modelo com janela de 16K–50K é bem mais barato do que correr atrás de um milhão de tokens.