Qwen choisit lui-même ce qu'il retient : le replay généré par un modèle gelé réduit l'oubli

Le fine-tuning d'un modèle de langage casse presque toujours une partie de ce qu'il savait faire auparavant. Un nouvel article sur arXiv (cs.CL, 2610.12602) teste une idée inhabituelle : confier la protection des anciennes compétences au modèle lui-même. Les auteurs ont affiné des Qwen de différentes tailles sur une séquence d'instructions. Ils constatent qu'une copie gelée du modèle peut générer des données de replay qui réduisent l'oubli, y compris sur des tâches absentes de la liste à préserver. Sur la taille 4B, le modèle choisit en plus les tâches à rejouer, et il le fait mieux qu'un tirage au sort. Les modèles plus petits ne montrent pas cet avantage.

Le problème : la liste de préservation est toujours incomplète

Le cadre classique du continual learning impose de définir un ensemble de tâches dont les performances ne doivent pas baisser. Or les connaissances d'un modèle dépassent n'importe quel ensemble de ce type, et l'oubli ne se limite pas aux points vérifiés. Ce que vous n'avez pas inclus dans le test se dégrade sans que personne le remarque.

Des travaux récents ont montré qu'un modèle peut produire lui-même un replay utile, sans accès aux données d'entraînement d'origine. Les auteurs prolongent cette piste et posent la question suivante : le modèle peut-il aider à choisir les cibles de préservation, de manière à se protéger plus largement que ne le ferait un humain avec une liste limitée ?

Comment l'expérience est construite

Pour l'étude, les descriptions de tâches et leurs exemples sont organisés en Task Banks. Les entrées d'une banque peuvent être sélectionnées et combinées, et le modèle gelé génère à partir d'elles des données de replay pour le fine-tuning. Les auteurs mènent ensuite un continual instruction tuning sur des modèles de la famille Qwen de différentes tailles.

Un détail important sur la métrique. Outre la précision moyenne, les auteurs suivent lesquelles des réponses auparavant correctes le restent. Un indicateur moyen peut sembler stable alors que le modèle perd certaines bonnes réponses et en gagne d'autres par hasard.

• Modèles : Qwen de différentes tailles ; le résultat clé sur le choix des tâches est obtenu sur 4B.
• Méthode : replay généré par le modèle gelé à partir des entrées des Task Banks.
• Métrique principale : rétention (retention) des réponses auparavant correctes, y compris sur les tâches hors banque.
• Comparaison de la sélection : choix tenant compte de la nouvelle tâche contre choix aléatoire.
• Contrainte : budget fixe d'exemples d'entraînement.

Trois résultats

Premièrement : la nouvelle tâche et le learning rate influencent les compétences qui se dégradent. Le suivi des réponses auparavant correctes révèle des pertes que la précision moyenne masque.

Deuxièmement : le replay généré réduit l'oubli sur les tâches hors banque. La combinaison de banques partielles renforce l'effet : la rétention moyenne des réponses auparavant correctes est supérieure à celle de chacune des banques prise isolément, sur toutes les tailles testées.

Troisièmement : le modèle peut participer au choix des cibles du replay. Sur 4B, une sélection qui tient compte de la nouvelle tâche améliore la rétention moyenne sur les tâches mises de côté par rapport à une sélection aléatoire, tandis que le gain sur la nouvelle tâche elle-même reste comparable. Les modèles plus petits n'ont pas montré cet avantage.

Le prix de la protection

Il n'y a pas d'assurance gratuite ici. À budget d'exemples fixe, remplacer une partie des données de la nouvelle tâche par du replay améliore la préservation, mais réduit le gain sur la nouvelle tâche. L'ampleur de ce compromis n'est pas indiquée dans le résumé : il faudra l'évaluer à partir du texte intégral et sur vos propres données.

Il y a aussi une question d'échelle. La capacité à choisir les cibles du replay n'est apparue que sur 4B, on ne peut donc pas la considérer comme universelle pour tous les modèles. Les résultats proviennent d'une seule famille de modèles, et leur transfert à d'autres architectures doit être vérifié séparément.

Ce qu'il faut en retenir pour les équipes qui affinent des modèles

Si vous adaptez un modèle ouvert à votre tâche et que vous n'avez pas conservé les données d'origine, générer du replay avec une copie gelée devient une option de protection viable. Commencez par plusieurs petites banques de tâches et combinez-les, plutôt que de vous reposer sur une seule. Évaluez non seulement la précision moyenne, mais aussi la part de réponses correctes conservées, y compris sur des tâches extérieures à votre jeu de test.

Prévoyez un budget : chaque exemple de replay prend la place de données de la nouvelle tâche, et l'équilibre se règle par l'expérimentation. La sélection automatique des tâches à rejouer mérite d'être testée sur des modèles à partir de 4B ; sur des tailles plus petites, mieux vaut pour l'instant s'en tenir aux schémas éprouvés.