Fatos desatualizados na memória do agente derrubam a precisão do Qwen2.5 de 100% para 44,6%

Mais contexto recuperado não significa resposta melhor. Pesquisadores do grupo de Oleeviya Babu Poikarayil (sete autores) demonstraram isso na tarefa FactConsolidation, do benchmark MemoryAgentBench. Em um histórico de 6K tokens, o Qwen2.5-7B-Instruct com busca BM25 responde corretamente em 45% dos casos quando recebe 64 tokens de evidências recuperadas. Com 512 tokens, a precisão cai para 32%. Isso acontece mesmo que a auditoria com anotação "ouro" (gold) tenha encontrado a afirmação mais recente em todos os resultados, sem exceção.

Onde a cadeia quebra: na busca ou na leitura

Muitos benchmarks de memória para agentes entregam uma única nota final para o conjunto "encontrou e respondeu". Quando a nota cai, não fica claro se a busca não trouxe a atualização ou se o modelo a recebeu e mesmo assim não a usou. Os autores separaram as duas etapas. Na variante single-hop do FactConsolidation, eles verificaram se a versão atual do fato estava entre os trechos recuperados. Estava em todos os casos. Logo, o problema está em como o modelo lê os resultados.

A maioria dos erros ocorreu em perguntas nas quais a versão desatualizada do fato apareceu junto da afirmação nova. Um orçamento maior aumenta a chance de que um registro antigo sobre o mesmo objeto entre no contexto. O modelo vê duas afirmações conflitantes e, com frequência, escolhe a errada.

Experimento controlado: fato antigo contra fato neutro

Para eliminar a influência do tamanho, os autores fixaram o prompt e o volume de evidências: quatro afirmações. Em uma configuração, uma delas era irrelevante. Na outra, ela foi substituída por uma versão antiga e concorrente do fato procurado. O volume de contexto permaneceu o mesmo; mudou apenas a natureza de uma afirmação.

• Qwen2.5-7B-Instruct: a precisão cai de 100% para 44,6%.
• Qwen3-14B: queda de 100% para 87,8%.
• Todas as 50 trocas prejudiciais em pares (a resposta estava correta e passou a ser incorreta) foram classificadas como stale, ou seja, a resposta veio da afirmação desatualizada.

A conclusão dos autores: a afirmação desatualizada prejudica mais do que uma evidência neutra do mesmo tamanho. Os tokens extras, por si só, não são os culpados. O problema é o conteúdo conflitante que parece relevante.

Repetição em um histórico longo

Em um histórico de 32K tokens, o resultado foi o mesmo. O BM25 com orçamento de 64 tokens atinge 69%, e com 512 tokens, apenas 58%. De novo, a recuperação enxuta supera a ampla. O trabalho foi aceito no NeurIPS 2026 Workshop on Personalized, Aligned, Long-Term Memory for AI Systems (PALM) e tem 23 páginas, contando os apêndices.

O que mudar nos sistemas de agentes

As recomendações abaixo são conclusões tiradas dos resultados do artigo, não receitas testadas pelos próprios autores. Mas elas se impõem naturalmente.

• Métricas. É preciso medir separadamente o recall da recuperação (o fato atual está presente?) e a qualidade da leitura (ele foi usado?). Um único indicador de ponta a ponta mascara a causa da falha.
• Orçamento de contexto. Ele deve ser calibrado para cada tarefa. Nos dois testes, 64 tokens deram resultado melhor que 512, além de custarem menos tokens por chamada. Em agentes com sessões longas, essa economia se acumula.
• Escrita na memória. Quando uma afirmação nova substitui a antiga, vale marcar a antiga como substituída ou removê-la no momento da gravação, em vez de esperar que o modelo se resolva na leitura. Timestamps e marcações de versão nos resultados também devem ajudar.
• Pós-processamento da recuperação. Antes de enviar ao modelo, é razoável agrupar as afirmações sobre um mesmo objeto e manter só a mais recente. Isso é especialmente importante para modelos pequenos: a diferença entre o Qwen2.5-7B e o Qwen3-14B mostra que um modelo mais forte é mais resistente, mas não está imune.

Para quem constrói assistentes pessoais e agentes de código com memória de longo prazo, os usuários mudam preferências, endereços e configurações o tempo todo, então versões desatualizadas se acumulam inevitavelmente. Ampliar a janela de recuperação "por precaução" se revela mais arriscado do que parece. É preciso pensar antes no que vai entrar no armazenamento e em como ele será limpo.