RAG ingênuo superou sistemas de memória agênticos em seis de sete testes

Uma equipe de pesquisadores testou se a memória de LLMs precisa de toda a complexidade que vem sendo incorporada a ela. Como adversário dos sistemas agênticos sofisticados, eles escolheram o Raw-RAG: um pipeline simples em que busca densa e reranking atuam sobre o histórico bruto da conversa e entregam os trechos encontrados ao modelo leitor. Em quatro benchmarks de memória de longo prazo (LoCoMo, LongMemEval, MEME e MemoryAgentBench), essa linha de base ficou em primeiro lugar entre os sistemas comparados em seis das sete combinações de benchmark e modelo. Sobre o sistema agêntico mais forte, a vantagem foi de 0,13 a 5,53 pontos.

O que exatamente foi comparado

Nos últimos anos, os sistemas de memória agênticos ganharam cada vez mais mecanismos. Eles reescrevem registros, montam a estrutura do armazenamento, treinam estratégias de recuperação e executam outras operações complexas. A ideia é compreensível: uma conversa com centenas de falas não cabe no contexto, então é preciso comprimi-la, organizá-la e recuperar com cuidado o que importa.

O Raw-RAG funciona de forma oposta. Ninguém resume nem reestrutura o histórico. Ele fica armazenado como está, a busca encontra os trechos relevantes, o reranker os ordena e a LLM leitora responde à pergunta. Os autores deixaram o esquema deliberadamente o mais direto possível, para ter um ponto de referência honesto.

Em alguns casos, a diferença em pontos é pequena: o piso é de apenas 0,13. Mas o que importa aqui é a direção, não o tamanho da diferença: um sistema sem memória mutável, sem estrutura e sem recuperação treinada ficou à frente em quase todos os casos.

Por que o histórico bruto funciona

Os autores não pararam na tabela de resultados e investigaram de onde vem a competitividade da abordagem. A análise das evidências mostrou que o Raw-RAG vence pela cobertura. Ele recupera com mais frequência todas as evidências necessárias para a resposta, e isso compensa a menor eficiência com que o leitor as utiliza.

Há um detalhe importante sobre as próprias evidências. A informação útil inclui não só os valores finais, como uma data ou um nome. Ela abrange também as relações entre os fatos e os caminhos de dependência pelos quais a resposta é deduzida. Quando a memória é convertida em registros comprimidos ou em uma estrutura, essas ligações se perdem com facilidade.

A observação mais reveladora é que, mesmo com acesso completo aos armazenamentos transformados, ainda sobra uma diferença de precisão em relação às evidências brutas. Ou seja, o problema não se resume ao fato de a busca agêntica às vezes errar o alvo. A própria transformação já descarta parte da informação, e essa parte não pode ser recuperada depois.

Dados principais

• Benchmarks: LoCoMo, LongMemEval, MEME, MemoryAgentBench.
• Pipeline do Raw-RAG: busca densa, reranking, modelo leitor.
• Resultado: primeiro lugar em seis das sete configurações de benchmark e modelo.
• Vantagem sobre a melhor memória agêntica: 0,13–5,53 pontos.
• Mecanismo: maior cobertura das evidências necessárias, com menor aproveitamento delas.
• A diferença em relação aos dados brutos persiste mesmo com acesso completo à memória transformada.

O que mudar na prática

A primeira consequência diz respeito à metodologia de avaliação. Agora faz sentido comparar qualquer novo sistema de memória com o Raw-RAG, e os autores o classificam explicitamente como linha de base obrigatória. Se uma arquitetura complexa não supera a busca sobre o histórico bruto, o custo dela e os pontos adicionais de falha não se justificam.

A segunda consequência é de engenharia. Antes de construir uma camada que reescreve e reorganiza a memória do agente, vale guardar as falas originais e medir que fatia das evidências necessárias a busca consegue recuperar. Se a cobertura é alta e as respostas ainda saem fracas, o problema está no leitor. Se a cobertura é baixa, é preciso melhorar a busca, e não remontar o armazenamento.

A terceira: a compressão tem custo. Se o sistema ainda precisar de sumarização ou estruturação, convém manter o texto original por perto como fonte de reserva, para poder restaurar as relações e as cadeias de dependência.

Há também uma limitação nas conclusões, que os autores formulam com cautela: elas valem para as tarefas testadas, de compreensão de conversas longas. Eles não afirmam que a memória complexa seja inútil em todos os contextos. Mas, para essa classe de tarefas, o ônus da prova muda: primeiro é preciso demonstrar que a complicação supera a base simples, e não o contrário.