Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarThe Decoder→ original

Anthropic: Claude com 413 arquivos de anotações conquistou 1 insígnia em Pokémon, e com poucos arquivos, 4

Um agente que trabalha em um projeto por vários dias precisa lembrar do passado, mas anotações a cada passo logo ficam desatualizadas e atrapalham. Em Pokémon Red, o antigo Claude Sonnet 3.7 criou 413 arquivos em 225 pastas ao longo de 10 000 passos e conquistou uma insígnia. Já o Claude Fable 5 manteve poucos arquivos com estratégias e regras verificadas, e conquistou quatro. É como guardar uma nota para cada commit em vez de um README curto. A conclusão: na memória do agente, a seleção importa mais que o volume.

Processado por IA de The Decoder; editado por Hamidun News
Anthropic: Claude com 413 arquivos de anotações conquistou 1 insígnia em Pokémon, e com poucos arquivos, 4
Fonte: The Decoder. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalThe Decoder ↗
Editor-chefe
Dado-chave #1O Dreaming confere as anotações com sessões antigas e corrige erros
Teste jurídicowiki com busca acertou 87% das respostas, contra 73% da busca sozinha
Dado-chave #3Há um teste por modelo, e todos os dados vêm da própria Anthropic

Um agente que trabalha em um projeto por vários dias começa cada sessão do zero. Por isso, ele recebe uma pasta de anotações: escreve nela por conta própria e lê depois. O problema é que as anotações ficam desatualizadas rapidamente.

Imagine um repositório em que cada commit tem uma notinha separada, metade delas já está errada, e quem chega novo é obrigado a ler tudo. Foi mais ou menos isso que aconteceu com o Claude no teste da Anthropic: em Pokémon Red, a versão que registrava tudo criou 413 arquivos em 225 pastas e conquistou uma insígnia, enquanto a versão com poucos arquivos conquistou quatro. A conclusão do estudo: a qualidade da memória de um agente depende não do volume, mas da capacidade de decidir o que não salvar.

O agente que anota tudo se perde

O principal desafio é a escolha. No momento em que escreve, o agente não sabe o que será necessário depois, então cada anotação é uma aposta no futuro. O antigo Claude Sonnet 3.7 considerava tudo importante: em cerca de 10 000 passos de jogo, criou 413 arquivos em 225 pastas, muitas vezes abrindo um arquivo separado para cada batalha e para cada item encontrado. O estado do jogo muda o tempo todo, e esse arquivo logo fica obsoleto. Em alguns momentos, o modelo nem jogava: só organizava as próprias anotações. O resultado foi uma insígnia.

O Claude Fable 5, mais recente, se virou com poucos arquivos. Ele não anotava o que já aparece na tela e registrava apenas planos, estratégias e regras que ele mesmo havia verificado. O resultado foi de quatro insígnias. Uma ressalva importante: a comparação se baseia em uma única partida por modelo, então serve mais como ilustração do que como estatística.

O conselho prático da Anthropic é explicar ao modelo para que serve a memória e deixar que ele decida como usá-la. Em um dos benchmarks, instruções rígidas como "anote apenas os erros" consumiram a maior parte da vantagem dos modelos mais fortes. Já para os modelos antigos, regras claras ajudaram, como a exigência de ler as anotações antes de cada resposta. Ou seja, o prompt de memória deve ser ajustado à classe do modelo.

Dreaming: revisão das anotações "durante o sono"

O segundo problema são as anotações erradas, nas quais o agente passa a confiar cegamente. No teste com Pokémon, o Claude registrou de forma incorreta de que lado da montanha ficava um ponto de referência. Com base nessa anotação, ele caiu três vezes na mesma armadilha, acabou querendo desistir e não chegou ao destino. Algo parecido aconteceu com uma anotação errada sobre a localização de um Pokémon Center: por causa dela, o Claude caía repetidamente de um desnível.

Para esses casos, a Anthropic propõe o processo Dreaming, que desenvolve ideias de pesquisadores da Letta e da UC Berkeley. Assim como o cérebro processa a experiência durante o sono, o Claude, na pausa entre sessões, revisa transcrições antigas e confere suas anotações com elas. Depois dessa passada, o agente encontrou o erro, escolheu o caminho certo e atravessou o Mt. Moon até Cerulean City. Isso só foi possível com a anotação corrigida.

O Dreaming também faz mais: organiza grandes bases de conhecimento. O Claude montou uma wiki interligada a partir de cerca de 350 000 documentos internos da Stainless, empresa de software comprada pela Anthropic. O sistema cria páginas novas, preenche lacunas, remove duplicatas e corrige links quebrados. O melhor resultado veio da combinação de wiki com busca: a wiki complementa a busca, mas não a substitui. Em um teste jurídico à parte, a wiki ajudou principalmente quando a resposta estava espalhada por vários documentos: 87% de respostas corretas, contra 73% da busca sozinha. Em consultas simples, wiki e busca ficaram praticamente empatadas, e em um caso a wiki chegou a ficar maior que os documentos originais.

O que continua sem solução e o que fazer

A própria Anthropic reconhece as limitações. Anotações feitas durante a tarefa distraem o agente do trabalho. O Dreaming exige computação adicional, e o resultado chega com atraso. Wikis e anotações precisam de manutenção regular, senão acumulam erros e alucinações. Também não vale a pena carregar automaticamente memórias demais em cada sessão: elas consomem contexto e repassam uma anotação ruim a todas as sessões futuras. Todos os testes foram conduzidos pela própria Anthropic.

A empresa apresentou o Dreaming em maio, como research preview para o Claude Managed Agents. O serviço lê o armazenamento de memória existente e até 100 sessões passadas, remove duplicatas e registros desatualizados e cria um novo armazenamento, sem mexer no original. No lançamento, só havia suporte para Claude Opus 4.

7 e Sonnet 4.6. Outras empresas seguem caminhos parecidos: a OpenAI também chama de Dreaming a memória do ChatGPT atualizada em junho, que mantém em segundo plano um perfil do usuário e corrige informações desatualizadas; segundo a empresa, a precisão levando em conta o tempo subiu de 52,2% para 75,1%.

O Google tem o WikiSkill, uma wiki para agentes com camadas separadas para transcrições brutas, resumo do conhecimento e instruções específicas.

Se você está construindo um agente com memória de longo prazo, não o obrigue a manter um diário de cada passo. Guarde estratégias e regras verificadas, e não anote o que já está visível no contexto atual. Adicione uma conferência regular das anotações com os logs das sessões e preserve o original, para poder reverter. Para bases de conhecimento grandes, combine wiki com busca.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre O agente que anota tudo se perde?

O principal desafio é a escolha. No momento em que escreve, o agente não sabe o que será necessário depois, então cada anotação é uma aposta no futuro. O antigo Claude Sonnet 3.7 considerava tudo importante: em cerca de 10 000 passos de jogo, criou 413 arquivos em 225 pastas, muitas vezes abrindo um arquivo separado para cada batalha e para cada item encontrado. O estado do jogo muda o tempo todo, e esse arquivo logo fica obsoleto. Em alguns momentos, o modelo nem jogava: só organizava as próprias anotações.

O que se sabe sobre Dreaming: revisão das anotações "durante o sono"?

O segundo problema são as anotações erradas, nas quais o agente passa a confiar cegamente. No teste com Pokémon, o Claude registrou de forma incorreta de que lado da montanha ficava um ponto de referência. Com base nessa anotação, ele caiu três vezes na mesma armadilha, acabou querendo desistir e não chegou ao destino. Algo parecido aconteceu com uma anotação errada sobre a localização de um Pokémon Center: por causa dela, o Claude caía repetidamente de um desnível.

O que continua sem solução e o que fazer?

A própria Anthropic reconhece as limitações. Anotações feitas durante a tarefa distraem o agente do trabalho. O Dreaming exige computação adicional, e o resultado chega com atraso. Wikis e anotações precisam de manutenção regular, senão acumulam erros e alucinações. Também não vale a pena carregar automaticamente memórias demais em cada sessão: elas consomem contexto e repassam uma anotação ruim a todas as sessões futuras. Todos os testes foram conduzidos pela própria Anthropic.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…