Memory Merge DQN: fusión de pesos de la red objetivo en lugar de sustitución brusca en DQN

En julio de 2026, unos investigadores publicaron en arXiv Memory Merge DQN, un nuevo método para actualizar la red objetivo (target) en Deep Q-Networks. En los juegos de Atari, este método ocupó el primer puesto en calidad final de entrenamiento con más frecuencia que cualquiera de los métodos competidores.

¿Qué falla en el DQN estándar?

El DQN estándar actualiza la red objetivo mediante una «copia dura»: los parámetros de la red objetivo se sustituyen de golpe por los últimos pesos de la red online. Esto estabiliza el entrenamiento a corto plazo pero, según el preprint, cada sustitución de este tipo cambia bruscamente el objetivo del bootstrapping y borra el historial reciente de parámetros. Como resultado, se pierde parte de la estructura de la función de valor que habría resultado útil más adelante, en un horizonte largo de entrenamiento.

Cómo funciona Memory Merge DQN

Memory Merge DQN guarda una memoria corta con copias recientes de la red online y construye la red objetivo no copiando los últimos pesos, sino fusionándolos según su importancia para el comportamiento actual de la función Q. Los parámetros que siguen siendo localmente relevantes para los valores Q actuales reciben mayor peso, mientras que un recency prior mantiene el resultado cerca de los pesos más recientes.

• Mecanismo: actualización de la red objetivo mediante fusión de pesos, no mediante copia dura
• Señal de importancia: sensibilidad de los valores Q (Q-value sensitivity), no la información de Fisher
• Inspirado en el método Fisher Weight Model Merging
• Almacena una memoria corta de versiones recientes de la red online
• El recency prior mantiene la red objetivo fusionada cerca de los parámetros actuales

Qué mostraron las pruebas en Atari

En los juegos de Atari, Memory Merge DQN logró el mayor número de primeros puestos en calidad final entre todos los métodos probados. Se comparó con cuatro enfoques: el DQN convencional, Averaged DQN, DQN con normalización por capas (layer normalization) y PQN con recorte de gradiente (gradient clipping). Los autores califican el método de «altamente competitivo»: superó a DQN, Averaged DQN y PQN con gradient clipping, y logró una mejora notable en varios juegos en los que conservar los pesos útiles de la función de valor resulta especialmente importante.

«La fusión selectiva de pesos recientes y del historial de parámetros

puede mejorar la estabilidad y la calidad final de los agentes DQN», se afirma en las conclusiones del preprint en arXiv.

¿Por qué importa?

El diseño de la actualización de la red objetivo resulta ser, por sí mismo, una palanca de calidad y no un mero detalle técnico. Los autores muestran que tratar con cuidado el historial de parámetros, en lugar de descartarlo por completo en cada copia dura, conserva una estructura útil de la función de valor en horizontes largos de entrenamiento. Con ello, el foco se desplaza de la arquitectura y la función de pérdida a la forma exacta en que se conectan las redes online y objetivo entre actualizaciones.

Qué significa

Memory Merge DQN no es una nueva arquitectura ni una nueva función de pérdida, sino otra manera de transferir pesos a la red objetivo. El trabajo sugiere que parte de la mejora «gratuita» en reinforcement learning se esconde en la mecánica de actualización de los objetivos, y no solo en el tamaño de la red o el volumen de datos.

Preguntas frecuentes

¿En qué se diferencia Memory Merge DQN de Averaged DQN?

Averaged DQN promedia de forma uniforme las redes objetivo recientes, mientras que Memory Merge DQN pondera los pesos según su importancia para la función Q actual (Q-value sensitivity) y añade un recency prior. En la comparación directa en Atari, Memory Merge DQN superó a Averaged DQN.

¿En qué se probó el método?

El método se evaluó en entornos de Atari frente a cuatro enfoques base: DQN, Averaged DQN, DQN con layer normalization y PQN con gradient clipping. En calidad final, Memory Merge DQN quedó primero en el mayor número de juegos.