Qwen elige qué recordar: el replay de un modelo congelado reduce el olvido

El ajuste fino de un modelo de lenguaje casi siempre rompe algo de lo que sabía hacer antes. Un nuevo trabajo en arXiv (cs.CL, 2610.12602) pone a prueba una idea poco habitual: que sea el propio modelo quien proteja sus habilidades previas. Los autores ajustaron Qwen de varios tamaños con una secuencia de instrucciones y comprobaron que una copia congelada es capaz de generar datos de replay que reducen el olvido, también en tareas que no figuran en la lista de conservación. En el tamaño de 4B, además, el modelo eligió qué tareas reproducir mejor que el azar. Los modelos más pequeños no mostraron esa ventaja.

Problema: la lista de conservación siempre queda incompleta

El planteamiento clásico del continual learning exige definir un conjunto de tareas cuyo rendimiento no se puede perder. Pero el conocimiento de un modelo es más amplio que cualquier conjunto de ese tipo, y el olvido no se limita a los puntos que se comprueban. Lo que no se incluyó en la evaluación se degrada sin que nadie lo note.

Trabajos recientes han demostrado que un modelo puede crear por sí mismo un replay útil sin acceso a los datos de entrenamiento originales. Los autores desarrollan esta línea y se preguntan si el modelo puede ayudar a elegir los objetivos de conservación para protegerse más allá de lo que lograría una persona con una lista limitada.

Cómo está montado el experimento

Para el estudio, las descripciones de tareas y sus ejemplos se organizan en Task Banks. Las entradas de un banco se pueden seleccionar y combinar, y a partir de ellas un modelo congelado genera datos de replay para el ajuste. Después se aplica continual instruction tuning a modelos de la familia Qwen de distintos tamaños.

Hay un detalle importante en la métrica. Además de la precisión media, los autores siguen qué respuestas que antes eran correctas siguen siéndolo. Un promedio puede parecer estable mientras el modelo pierde unas respuestas correctas y gana otras por casualidad.

• Modelos: Qwen de distintos tamaños; el resultado clave sobre la selección de tareas se obtuvo en 4B.
• Método: replay generado por el modelo congelado a partir de las entradas de Task Banks.
• Métrica principal: retención (retention) de las respuestas que antes eran correctas, incluso en tareas ajenas al banco.
• Comparación de selección: elección que tiene en cuenta la nueva tarea frente a elección aleatoria.
• Limitación: presupuesto fijo de ejemplos de entrenamiento.

Tres resultados

Primero: las habilidades que se degradan dependen de la nueva tarea y del learning rate. Seguir las respuestas que antes eran correctas revela pérdidas que la precisión media oculta.

Segundo: el replay generado reduce el olvido en tareas ajenas al banco. Combinar bancos parciales refuerza el efecto: la retención media de las respuestas que antes eran correctas resulta mayor que la de cualquiera de los bancos por separado, en todos los tamaños probados.

Tercero: el modelo puede participar en la elección de los objetivos del replay. En 4B, la selección que tiene en cuenta la nueva tarea aumenta la retención media en las tareas reservadas (held-out) frente a la selección aleatoria, mientras que la mejora en la propia nueva tarea se mantiene comparable. Los modelos más pequeños no mostraron esa ventaja.

El precio de la protección

Aquí no hay seguro gratuito. Con un presupuesto fijo de ejemplos, sustituir parte de los datos de la nueva tarea por replay mejora la conservación, pero reduce la ganancia en la nueva tarea. El resumen del artículo no revela el tamaño de ese compromiso, así que habrá que evaluarlo con el texto completo y con datos propios.

También hay una cuestión de escala. Como la capacidad de elegir objetivos de replay solo apareció en 4B, no se puede considerar universal para cualquier modelo. Los resultados proceden de una sola familia, y su traslado a otras arquitecturas debe comprobarse por separado.

Conclusiones prácticas para los equipos que ajustan modelos

Si adaptas un modelo abierto a tu tarea y no conservaste los datos originales, generar replay con una copia congelada pasa a ser una opción de protección viable. Conviene empezar con varios bancos de tareas pequeños y combinarlos, en lugar de depender de uno solo. Hay que evaluar no solo la precisión media, sino también la proporción de respuestas correctas conservadas, incluidas las tareas que quedan fuera de tu conjunto de prueba.

Y hay que presupuestar: cada ejemplo de replay le quita sitio a los datos de la nueva tarea, y el equilibrio conviene ajustarlo de forma experimental. La selección automática de tareas para el replay merece probarse en modelos desde 4B; en tamaños menores, por ahora es más sensato quedarse con los esquemas probados.