Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Análise de 99 compactações do Claude Code: 35% dos detalhes de que o agente precisava não chegaram ao contexto

Quando o Claude Code fica sem contexto, o modelo resume a conversa, e o agente passa a trabalhar com esse resumo. O autor analisou 99 compactações nos próprios logs: de 506 detalhes (caminhos, links, hashes) a que o agente voltou, 179 (35%) não foram encontrados no contexto repassado. A primeira estimativa, de 72% de perdas, era um erro do script; os acordos sobreviveram quase sempre. Peça que o resumo liste caminhos e links, e deixe as proibições nas regras do projeto.

Processado por IA de Habr AI; editado por Hamidun News
Análise de 99 compactações do Claude Code: 35% dos detalhes de que o agente precisava não chegaram ao contexto
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Acordos243 de 265 foram preservados por inteiro, 19 parcialmente, 3 sumiram
Hashes de commits7 de 66 foram perdidos; todos os 14 números de merge requests foram encontrados
Caminhos, links e números de tarefas172 de 426 não foram encontrados (cerca de 40%)

Quando o Claude Code fica sem contexto, o modelo resume toda a conversa, e o agente passa a trabalhar com esse resumo. Esse processo se chama compactação. Imagine: você passou uma hora editando src/config.

rs e combinou “só fazemos push depois da minha aprovação”. Após a compactação, o resumo precisa manter tanto o arquivo quanto a proibição. Um desenvolvedor da Lamantin AI, que cria o kaeru (memória para agentes), verificou nos próprios logs o que realmente se perde.

Resultado: de 506 detalhes a que o agente voltou depois da compactação, 179 (35%) não puderam ser encontrados no contexto que ele recebeu. Mas a principal conclusão é outra: os primeiros números, bem mais assustadores, eram um erro de contagem. Para quem usa agentes de código todos os dias, este é um guia prático sobre o que pedir ao resumo e o que manter fora da conversa.

O que o agente recebe após a compactação

Segundo os logs do Claude Code, depois da compactação o agente tem três fontes: o resumo (objetivo, o que foi feito, quais arquivos foram tocados, onde o trabalho parou), algumas das últimas mensagens na íntegra e os arquivos lidos recentemente, que o Claude Code anexa em seguida. Se um detalhe não está em nenhuma delas, o agente precisa procurá-lo de novo, deduzi-lo a partir de pistas indiretas ou buscá-lo numa memória externa, caso uma esteja conectada.

Os dados: 231 sessões do Claude Code de abril ao início de novembro e sessões do Codex de novembro. Depois da remoção de duplicatas, sobraram 67 compactações no Claude Code e 32 no Codex, 99 no total. As duplicatas (foram 38) aparecem quando uma sessão retomada copia o histórico junto com os limites de compactação antigos. Das 67 compactações do Claude Code, 64 foram automáticas, e o tamanho mediano do contexto antes delas era de cerca de 973 mil tokens. No Codex o resumo é criptografado, então o autor verificou seu conteúdo apenas no Claude Code.

Como 72% de perdas viraram 35%

A primeira contagem foi simplória: pegar todos os caminhos, links, hashes e números que apareciam antes e depois da compactação e verificar se estavam no resumo e nas mensagens preservadas. Não foram encontrados 955 de 1 330, ou seja, 72%. Mas essa conta incluía lixo: um caminho de stack trace podia aparecer na saída de um comando antes e depois da compactação sem que o agente precisasse dele.

Além disso, parte das “perdas” estava no próprio resumo. Um caso ilustrativo: depois da compactação, o agente releu o arquivo de configuração pelo caminho completo, e o script o contabilizou como perda. Só que o resumo continha a linha “Edited src/config.

rs: added CommandSpec struct”. Quem errou não foi o agente, e sim a expressão regular, que ignorava caminhos curtos.

Então o autor estreitou a pergunta: contar apenas o que aparecia antes da compactação e que o próprio agente escreveu depois, em um comando ou numa resposta. Restaram 506 detalhes:

  • 300 (59%) foram encontrados no resumo ou nas mensagens preservadas;
  • 27 (5%) estavam nos arquivos anexados;
  • 179 (35%) não foram encontrados no contexto repassado.

Por tipo, a diferença é grande. Todos os 14 números de merge requests foram encontrados, 7 de 66 hashes de commits se perderam, e caminhos, links e números de tarefas não foram encontrados em 172 de 426 casos. O autor supõe que o modelo inclui de bom grado um número curto no resumo, enquanto substitui um caminho longo por expressões como “editamos o config”, mas ele não testou essa hipótese.

Uma ressalva importante: 35% não significa “o agente esqueceu”. Um detalhe que o agente esqueceu e nunca mais mencionou não entra nessa conta. É a fatia do que o agente retomou, mas que o script não encontrou no contexto. Dos 179 detalhes, 82 apareceram pela primeira vez depois da compactação na saída de Bash, PowerShell ou Read, um surgiu em uma resposta do kaeru, e os outros 96 foram escritos pelo agente sem fonte visível no log.

Acordos e a “violação” que não aconteceu

A comparação de strings não funciona para significado, então, em 60 compactações, o autor extraiu as decisões das últimas falas (“só fazemos push depois da minha aprovação”, “não mexemos neste arquivo”): foram 298. Um modelo de linguagem fez a classificação em duas passagens independentes, e só as avaliações coincidentes entraram no resultado. Das 265 decisões, 243 foram preservadas por inteiro, 19 parcialmente e 3 sumiram, por exemplo, “lançar as horas de sexta-feira”. O que acontece com um acordo feito uma centena de chamadas antes da compactação, esses dados não dizem.

Das 152 decisões em que dava para ver se foram cumpridas, quatro receberam o rótulo “violada”. O caso mais marcante: depois da compactação, o agente aparentemente executou um script sem permissão. Mas o log trazia um “vai” do autor, dito antes da compactação, porém depois de um pedido para esperar, e nas primeiras 30 chamadas da nova execução o script não foi rodado. De novo, quem falhou não foi o agente, e sim o método de verificação.

Uma descoberta paralela: o lembrete “consulte a memória” no instalador do kaeru disparava na inicialização, na retomada e na limpeza da sessão, mas não depois da compactação. A correção já está na branch principal. Para 14 dos 179 detalhes, havia registros bem-sucedidos no kaeru antes da compactação; para um deles (o hash 12ce9e1), o autor confirmou que a nota estava na memória no momento da compactação. Se ela teria ajudado o agente, isso não foi verificado: seria preciso um experimento separado, com tarefas idênticas com e sem memória.

O que fazer na prática

  • Peça que o resumo liste caminhos, links e commits. Ao usar /compact manualmente, acrescente: “liste os caminhos de arquivos, links e commits com que trabalhamos”.
  • Mantenha as proibições rígidas fora da conversa: nas regras do projeto ou em um hook. A compactação preserva o “não fazer push sem confirmação”, mas assim é mais confiável.
  • Adicione compact ao matcher do hook SessionStart (startup|resume|clear|compact), para que o agente receba, depois da compactação, o lembrete de consultar a memória.
  • Antes de culpar o agente, verifique o resumo e a ordem das falas antes da compactação.

Limitações: são os logs de um único desenvolvedor, os modelos e as versões dos clientes mudaram, os caminhos foram comparados pelos dois últimos segmentos e as decisões foram classificadas por um modelo. A proporção de chamadas repetidas após a compactação não aumentou: no Claude Code, 5,1% depois contra 6,2% antes; no Codex, 1,5% contra 4,9%. Essa verificação não detecta a repetição de um trabalho antigo com argumentos diferentes. Para encontrar compactações nos seus próprios logs, procure compact_boundary nos arquivos JSONL em ~/.claude/projects; no Codex, é o registro compacted com o campo replacement_history.

História

Perguntas frequentes sobre a notícia

O que o agente recebe após a compactação?

Segundo os logs do Claude Code, depois da compactação o agente tem três fontes: o resumo (objetivo, o que foi feito, quais arquivos foram tocados, onde o trabalho parou), algumas das últimas mensagens na íntegra e os arquivos lidos recentemente, que o Claude Code anexa em seguida. Se um detalhe não está em nenhuma delas, o agente precisa procurá-lo de novo, deduzi-lo a partir de pistas indiretas ou buscá-lo numa memória externa, caso uma esteja conectada.

Como 72% de perdas viraram 35%?

A primeira contagem foi simplória: pegar todos os caminhos, links, hashes e números que apareciam antes e depois da compactação e verificar se estavam no resumo e nas mensagens preservadas. Não foram encontrados 955 de 1 330, ou seja, 72%. Mas essa conta incluía lixo: um caminho de stack trace podia aparecer na saída de um comando antes e depois da compactação sem que o agente precisasse dele. Além disso, parte das “perdas” estava no próprio resumo.

O que se sabe sobre Acordos e a “violação” que não aconteceu?

A comparação de strings não funciona para significado, então, em 60 compactações, o autor extraiu as decisões das últimas falas (“só fazemos push depois da minha aprovação”, “não mexemos neste arquivo”): foram 298. Um modelo de linguagem fez a classificação em duas passagens independentes, e só as avaliações coincidentes entraram no resultado. Das 265 decisões, 243 foram preservadas por inteiro, 19 parcialmente e 3 sumiram, por exemplo, “lançar as horas de sexta-feira”.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…