Deep Fusion Memory reduz a busca em 32 vezes e supera baselines em 12,7%

Pesquisadores propuseram o Deep Fusion Memory (DFM), uma memória paramétrica para grandes modelos de linguagem que incorpora conhecimento externo aos estados ocultos e não exige consulta a uma base de dados durante a resposta. Montar os dados de treinamento dessa memória sai 32 vezes mais barato em número de consultas de busca e 2048 vezes mais barato em número de itens recuperados do que nas abordagens paramétricas existentes. Em seis benchmarks de QA, o DFM supera o baseline mais forte em 12,71% com o Mistral-7B-v0.3 e em 11,19% com o Qwen3-8B-Base.

Três formas de ensinar algo novo a um modelo, cada uma com seu preço

O problema é familiar para quem já levou uma LLM a um produto real: o modelo precisa saber o que não estava no seu pré-treinamento. Podem ser documentos internos de uma empresa, literatura médica ou dados recentes. Os caminhos clássicos esbarram em trade-offs. O fine-tuning em um novo corpus corre o risco de esquecimento catastrófico, quando o modelo aprende o novo e perde o antigo. O RAG busca os documentos de forma confiável, mas cada requisição vira uma busca e o contexto incha, o que significa custo direto em latência e tokens.

O terceiro caminho é a memória paramétrica externa. O conhecimento fica em parâmetros treináveis separados, e não há busca em tempo de execução. Mas essa abordagem tem duas falhas, e é nelas que o DFM mira. Primeiro, preparar os dados para treinar essa memória exige uma enorme busca offline, porque os objetivos são construídos em nível de token. Segundo, a memória costuma ser combinada com a saída do modelo por interpolação na distribuição de probabilidades. É uma fusão superficial: o conhecimento não influencia como o modelo "pensa" dentro das camadas.

Um preditor de memória no lugar da busca

O DFM move o trabalho dos tokens para os chunks. Um preditor causal de memória gera um vetor de memória a partir do contexto anterior. Ele é treinado com embeddings de chunks encontrados no corpus, que servem como sinal de supervisão. A memória prevista é compartilhada por todos os tokens dentro do chunk, e por isso são necessárias muito menos consultas ao corpus. Daí vem a economia de 32 vezes em consultas e de 2048 vezes em itens recuperados.

A segunda parte do esquema é a fusão profunda. A memória entra nos estados ocultos por meio de gated cross-attention, isto é, com uma porta treinável que regula quanto conhecimento externo passa em cada ponto. O preditor e o módulo de fusão aprendem de ponta a ponta, enquanto o modelo base fica congelado. Suas capacidades originais não são alteradas, o que responde diretamente ao problema do esquecimento. Na inferência não há nenhuma busca explícita: a memória é prevista a partir do contexto.

O que mostraram as medições

• Seis tarefas de QA: +12,71% sobre o baseline mais forte no Mistral-7B-v0.3.
• As mesmas tarefas no Qwen3-8B-Base: +11,19%.
• Adaptação de domínio: em média, +6,51 pontos para o Qwen3-4B-Base e +4,38 para o Qwen3-8B-Base.
• Custo de construção dos dados de treinamento: 32 vezes menos consultas e 2048 vezes menos itens recuperados do que nos métodos com objetivos em nível de token.
• Backbone congelado, sem necessidade de busca na inferência.

Vale notar a diferença na adaptação de domínio: o modelo de 4B ganha mais do que o de 8B. Isso faz sentido se a memória compensa a falta de conhecimento próprio. Para modelos menores, que muitas vezes rodam em hardware limitado, esse complemento é mais útil.

Para quem isso serve na prática

Para equipes que constroem assistentes de domínio sobre modelos abertos, o DFM aparece como uma opção intermediária entre RAG e fine-tuning. Ele não adiciona uma chamada de busca a cada requisição e não exige descongelar os pesos. Isso pesa principalmente onde a latência é crítica e o corpus de conhecimento é estável: documentação interna, suporte técnico, referências profissionais.

As limitações também ficam claras pelo próprio esquema. O corpus ainda precisa ser processado uma vez, offline, para obter os embeddings dos chunks usados no treinamento. Se o conhecimento muda todos os dias, retreinar o preditor custa mais do que atualizar o índice do RAG. Por isso, o DFM tende a complementar o retrieval, e não a substituí-lo: para dados que ficam obsoletos rápido, a busca continua mais conveniente, enquanto para áreas de conhecimento estáveis a memória paramétrica com fusão profunda se torna uma alternativa séria. O principal recado do trabalho: barateamento da preparação de dados em várias ordens de grandeza não custou qualidade, e em QA ela chegou a subir em dois dígitos percentuais.