Memory Merge DQN: fusão de pesos da rede-alvo em vez de substituição rígida no DQN

Pesquisadores publicaram no arXiv, em julho de 2026, o Memory Merge DQN, uma nova forma de atualizar a rede-alvo (target network) em Deep Q-Networks. Em jogos de Atari, o método ficou em primeiro lugar em qualidade final de treinamento mais vezes que qualquer um dos métodos concorrentes.

O que há de errado com o DQN padrão?

O DQN padrão atualiza a rede-alvo com uma "cópia rígida": os parâmetros da rede-alvo são substituídos de uma só vez pelos pesos mais recentes da rede online. Isso estabiliza o treinamento no curto prazo, mas, segundo o preprint, cada substituição desse tipo muda bruscamente o alvo do bootstrap e apaga o histórico recente de parâmetros. Com isso, perde-se parte da estrutura da função de valor que ainda seria útil mais adiante, em horizontes longos de treinamento.

Como funciona o Memory Merge DQN

O Memory Merge DQN mantém uma memória curta de cópias recentes da rede online e constrói a rede-alvo não copiando os pesos mais recentes, mas fundindo-os de acordo com sua importância para o comportamento atual da função Q. Ganham mais peso os parâmetros que continuam localmente relevantes para os valores Q atuais, enquanto um recency prior mantém o resultado próximo dos pesos mais frescos.

• Mecanismo: atualização da rede-alvo por fusão de pesos, e não por cópia rígida
• Sinal de importância: sensibilidade dos valores Q (Q-value sensitivity), e não a informação de Fisher
• Inspirado no método Fisher Weight Model Merging
• Guarda uma memória curta de versões recentes da rede online
• O recency prior mantém a rede-alvo fundida próxima dos parâmetros atuais

O que mostraram os testes em Atari

Em jogos de Atari, o Memory Merge DQN obteve o maior número de primeiros lugares em desempenho final entre todos os métodos testados. Ele foi comparado com quatro abordagens: o DQN convencional, o Averaged DQN, o DQN com normalização de camadas (layer normalization) e o PQN com recorte de gradiente (gradient clipping). Os autores descrevem o método como "altamente competitivo": ele superou o DQN, o Averaged DQN e o PQN com gradient clipping e entregou ganho expressivo em vários jogos nos quais preservar pesos úteis da função de valor é especialmente importante.

"A fusão seletiva de pesos recentes e do histórico de parâmetros pode

melhorar a estabilidade e o desempenho final dos agentes DQN", afirmam as conclusões do preprint no arXiv.

Por que isso importa?

O desenho da atualização da rede-alvo se mostra, por si só, uma alavanca de desempenho, e não um detalhe técnico. Os autores mostram que tratar com cuidado o histórico de parâmetros, em vez de descartá-lo por completo a cada cópia rígida, preserva uma estrutura útil da função de valor em horizontes longos de treinamento. Isso desloca o foco da arquitetura e da função de perda para a forma como as redes online e alvo se conectam entre uma atualização e outra.

O que isso significa

O Memory Merge DQN não é uma nova arquitetura nem uma nova função de perda, mas uma maneira diferente de transferir pesos para a rede-alvo. O trabalho sugere que parte do ganho "gratuito" em reinforcement learning está escondida na mecânica de atualização dos alvos, e não apenas no tamanho da rede ou no volume de dados.

Perguntas frequentes

Em que o Memory Merge DQN difere do Averaged DQN?

O Averaged DQN faz a média uniforme das redes-alvo recentes, enquanto o Memory Merge DQN pondera os pesos pela importância de cada um para a função Q atual (Q-value sensitivity) e adiciona um recency prior. Na comparação direta em Atari, o Memory Merge DQN superou o Averaged DQN.

Em que o método foi testado?

O método foi avaliado em ambientes de Atari contra quatro abordagens de referência: DQN, Averaged DQN, DQN com layer normalization e PQN com gradient clipping. Em desempenho final, o Memory Merge DQN ficou em primeiro lugar no maior número de jogos.