Pesquisadores descobrem: agentes de IA confundem fatos antigos e novos na memória mesmo após uma busca correta

O problema da memória de longo prazo

Se um agente de IA tem memória de longo prazo — por exemplo, lembra-se de seis meses de conversa com um usuário ou mantém um banco de fatos sobre um cliente — tarde ou cedo se acumularão contradições nessa memória: algo que era verdade ontem pode não ser mais hoje. Um grupo de pesquisadores da Universidade Otto von Guericke de Magdeburgo (Alemanha) e da Universidade de Kerala (Índia) se fez uma pergunta simples: se um sistema de busca na memória recupera tanto a versão antiga quanto a nova de um fato, o modelo de linguagem conseguirá escolher corretamente a atual?

A resposta curta é: nem sempre, e quanto mais "ruído" houver ao redor do fato correto, piores os resultados.

Como testaram

Os autores partiram da tarefa FactConsolidation, do benchmark MemoryAgentBench — um conjunto de declarações numeradas em que um número posterior indica uma versão mais atual do fato. Os fatos são sintéticos e contradizem deliberadamente o conhecimento comum sobre o mundo (por exemplo, o verdadeiro autor de uma peça não é aquele que o modelo lembraria a partir de seu conhecimento prévio da internet), justamente para verificar se o modelo usa o contexto fornecido e não seu conhecimento interno.

Foram testados dois modelos — Qwen2.5-7B-Instruct e Qwen3-14B —, executados via Ollama em um servidor GPU universitário. A busca por declarações relevantes foi feita com o algoritmo BM25 (um método clássico de ranqueamento de texto por correspondência de palavras), variando o volume de resultados entre 64 e 512 tokens.

O que descobriram

O primeiro resultado inesperado: ao aumentar o volume de dados recuperados de 64 para 512 tokens, a precisão do Qwen2.5 em um histórico de 455 declarações caiu de 45% para 32%. A princípio, seria de esperar que mais contexto significasse mais chances de encontrar a resposta correta. Mas uma verificação adicional mostrou que o fato necessário, o mais recente, estava presente nos resultados recuperados em absolutamente todas as 100 perguntas, em cada nível de volume. A queda de precisão não foi causada pela perda da informação necessária, mas pelo fato de o modelo se confundir cada vez mais entre os dados extras e escolher o fato errado.

Em seguida, os autores restringiram o experimento a um teste mais limpo: pegaram 74 perguntas em que o fato tinha uma versão desatualizada e compararam dois conjuntos de quatro declarações de mesmo tamanho. No primeiro, o fato atual mais três declarações irrelevantes aleatórias. No segundo, o mesmo, mas uma declaração aleatória foi substituída pela versão desatualizada desse mesmo fato (a versão atual permanecia no lugar).

O resultado foi drástico:

• O Qwen2.5-7B respondeu corretamente às 74 perguntas quando ao redor havia apenas declarações irrelevantes. Mas quando uma delas foi substituída por um fato desatualizado, a precisão caiu para 33 respostas corretas em 74 (44,6%).
• O Qwen3-14B se mostrou mais resistente: a precisão caiu de 100% para 87,8% (9 erros em 74).
• Absolutamente todos os erros em ambos os casos foram a escolha exatamente do fato antigo, já invalidado, e não ruído aleatório ou suposições.

Ou seja, um fato desatualizado de mesmo tamanho se mostrou muito mais perigoso para o modelo do que um simples texto irrelevante — embora, intuitivamente, fosse de esperar que, com a resposta correta visível no contexto e a regra explicitamente indicada ("o número mais recente prevalece"), o modelo conseguisse lidar bem com isso.

O efeito também foi confirmado em um histórico de memória maior — 2.310 declarações e 100 perguntas: a precisão com busca restrita (64 tokens) foi de 69%, e com busca ampla (512 tokens), de 58%. Todos os erros nessa amostra também foram escolhas do fato desatualizado.

Por que isso importa

A principal conclusão prática é que não se pode avaliar um sistema de memória de um agente de IA com um único número geral de precisão. É preciso separar duas perguntas distintas: o sistema de busca encontrou o fato correto e atual?, e o modelo escolheu exatamente esse fato, e não uma versão antiga, quando ambos estão no contexto? Medir apenas a precisão final da resposta facilmente confunde um problema de busca com um problema de "raciocínio" do modelo — e as soluções para cada um são diferentes.

Os autores propõem uma direção concreta para desenvolvedores de sistemas de memória: não basta recuperar todos os fatos relevantes e entregá-los ao modelo como estão; é preciso marcar explicitamente os registros desatualizados como inativos ou reduzir seu peso na recuperação, preservando ao mesmo tempo o histórico de alterações para garantir transparência. Caso contrário, qualquer sistema em que a memória seja atualizada com o tempo — a memória de um CRM, um assistente pessoal, uma base de conhecimento corporativa — corre o risco de exibir periodicamente ao usuário informações há muito invalidadas, mesmo que o fato correto e atual tenha sido, tecnicamente, "encontrado".

Limitação do estudo: foram testados apenas dois modelos da família Qwen em um único benchmark sintético, com cadeias de atualização relativamente simples (não mais que duas versões de um fato). Os autores reconhecem abertamente que não verificaram o efeito em outras famílias de modelos nem em sistemas com busca vetorial (não lexical) — portanto, ainda não se trata de uma conclusão plenamente universal, mas o sinal certamente merece ser levado em conta ao projetar a memória de agentes.