Memory Merge DQN : fusionner les poids du réseau cible plutôt que les remplacer brutalement dans DQN

Des chercheurs ont publié en juillet 2026 sur arXiv Memory Merge DQN, une nouvelle façon de mettre à jour le réseau cible dans les Deep Q-Networks. Sur les jeux Atari, cette méthode prend plus souvent que n'importe quel concurrent la première place en qualité d'apprentissage finale.

Quel est le problème du DQN standard ?

Le DQN standard met à jour son réseau cible par une « copie brute » : les paramètres du réseau cible sont remplacés d'un coup par les derniers poids du réseau online. Cela stabilise l'apprentissage à court terme. Mais selon le preprint, chaque remplacement de ce type modifie brutalement la cible de bootstrap et efface l'historique récent des paramètres. Résultat : la structure de la fonction de valeur, qui resterait utile plus tard, sur un long horizon d'apprentissage, se perd.

Comment fonctionne Memory Merge DQN

Memory Merge DQN conserve une courte mémoire de copies récentes du réseau online. Il construit le réseau cible non pas en copiant les derniers poids, mais en les fusionnant selon leur importance pour le comportement actuel de la fonction Q. Les paramètres qui restent localement significatifs pour les valeurs Q actuelles reçoivent un poids plus élevé, tandis qu'un recency prior maintient le résultat proche des poids les plus récents.

• Mécanisme : mise à jour du réseau cible par fusion de poids, et non par copie brute
• Signal d'importance : sensibilité des valeurs Q (Q-value sensitivity), et non information de Fisher
• Inspiré de la méthode Fisher Weight Model Merging
• Conserve une courte mémoire des versions récentes du réseau online
• Le recency prior maintient la cible fusionnée proche des paramètres actuels

Ce que montrent les tests sur Atari

Sur les jeux Atari, Memory Merge DQN décroche le plus grand nombre de premières places en performance finale parmi toutes les méthodes testées. Il a été comparé à quatre approches : le DQN classique, Averaged DQN, DQN avec normalisation par couche (layer normalization) et PQN avec écrêtage du gradient (gradient clipping). Les auteurs qualifient la méthode de « hautement compétitive » : elle surpasse DQN, Averaged DQN et PQN avec gradient clipping, et apporte un gain notable dans plusieurs jeux où la préservation des poids utiles de la fonction de valeur est particulièrement importante.

«

La fusion sélective des poids récents et de l'historique des paramètres peut améliorer la stabilité et la performance finale des agents DQN », indiquent les conclusions du preprint sur arXiv.

Pourquoi est-ce important ?

La conception de la mise à jour du réseau cible s'avère être en soi un levier de performance, et non un simple détail technique. Les auteurs montrent qu'un traitement soigneux de l'historique des paramètres, au lieu de sa réinitialisation complète à chaque copie brute, préserve sur un long horizon d'apprentissage une structure utile de la fonction de valeur. Cela déplace l'attention de l'architecture et de la fonction de perte vers la manière dont les réseaux online et cible sont reliés entre deux mises à jour.

Ce que cela signifie

Memory Merge DQN n'est ni une nouvelle architecture ni une nouvelle fonction de perte : c'est une autre façon de transférer les poids vers le réseau cible. Ce travail suggère qu'une partie des gains « gratuits » en reinforcement learning se cache dans la mécanique de mise à jour des cibles, et pas seulement dans la taille du réseau ou le volume de données.

Questions fréquentes

En quoi Memory Merge DQN diffère-t-il d'Averaged DQN ?

Averaged DQN moyenne uniformément les réseaux cibles récents, tandis que Memory Merge DQN pondère les poids selon leur importance pour la fonction Q actuelle (Q-value sensitivity) et ajoute un recency prior. Dans la comparaison directe sur Atari, Memory Merge DQN a surpassé Averaged DQN.

Sur quoi la méthode a-t-elle été testée ?

La méthode a été évaluée dans des environnements Atari face à quatre approches de référence : DQN, Averaged DQN, DQN avec layer normalization et PQN avec gradient clipping. En performance finale, Memory Merge DQN s'est classé premier dans le plus grand nombre de jeux.