C3L brise la boucle de dérive des explications en continual learning : 5 benchmarks, 20+ baselines

On mesure d'ordinaire l'oubli catastrophique en continual learning par la chute de précision sur les anciennes tâches. Selon les chercheurs de l'Université de Tel-Aviv Yehonatan Elisha, Oren Barkan et Noam Koenigstein, cela ne révèle qu'une partie du problème. Un modèle peut conserver ses métriques d'avant tout en ne regardant plus le bec de l'oiseau, mais une branche ou l'arrière-plan. Les auteurs appellent ce phénomène la dérive des explications (explanation drift) et proposent la méthode C3L, évaluée sur cinq benchmarks face à plus de 20 approches de référence.

Une boucle qui s'auto-alimente

Les méthodes de continual learning qui exploitent les explications fonctionnent ainsi. On prend la carte de saillance des pixels (saliency map) du modèle entraîné sur la tâche précédente. Puis, lors de l'apprentissage de la nouvelle tâche, on exige du réseau qu'il ne s'écarte pas trop de cette carte. L'idée paraît raisonnable, mais les auteurs pointent un défaut structurel : la cible de la régularisation est calculée à partir du modèle lui-même. Si, sur la première tâche, de l'attention portée à l'arrière-plan s'est glissée dans la carte, elle est gelée et devient la référence pour la tâche suivante. À chaque étape, l'erreur est copiée puis amplifiée. Les chercheurs parlent de boucle de dérive auto-référentielle (self-referential drift loop).

Le problème est subtil. La précision ne baisse pas, et l'explication défaillante ne se manifeste d'aucune façon. Pour le diagnostic médical, le contrôle industriel ou tout système où il importe de savoir pourquoi le modèle a rendu telle réponse, le scénario est dangereux.

Des concepts plutôt que des pixels

C3L (Concept-Consistent Continual Learning) brise la boucle en prenant les cibles de régularisation en dehors du modèle. Au lieu des propres cartes de saillance du réseau, la méthode utilise des concepts sémantiques cohérents à l'échelle de toute la classe. L'article donne pour exemples « bec recourbé » et « motif rayé ». Ces concepts sont trouvés hors ligne et ne dépendent pas de l'évolution du modèle au fil de l'entraînement. Cela confère deux propriétés :

• l'indépendance de la cible vis-à-vis de la dérive du modèle : la référence ne se dégrade pas, quel que soit le nombre de tâches traversées par le réseau ;
• la cohérence sémantique entre les instances : un même concept s'applique à tous les objets de la classe, et non à chacun à sa manière.

Détail important : C3L n'exige pas de concepts annotés par des humains. La recherche des concepts et leur ancrage spatial dans les zones de l'image sont entièrement automatisés. Cela lève la principale objection pratique aux méthodes à base de concepts, dont le vocabulaire de caractéristiques est généralement établi à la main.

L'effet d'éviction

Les auteurs décrivent un mécanisme secondaire, qu'ils considèrent eux-mêmes comme l'un de leurs principaux résultats. La méthode se combine avec une conservation approchée de la pertinence dans LRP (layer-wise relevance propagation). La pertinence attribuée à une prédiction donnée est bornée en somme. Les zones de concepts et l'arrière-plan se partagent le même « budget ». Si l'on force le réseau à concentrer une forte pertinence sur les zones de concepts, il en reste moins pour l'arrière-plan. Les corrélations parasites sont ainsi supprimées sans pénalité dédiée : c'est le crowding-out effect.

En pratique, il n'est pas nécessaire de savoir à l'avance quelles caractéristiques parasites vont apparaître. Il suffit de fixer le bon objectif positif.

Ce qui a été mesuré

Les auteurs revendiquent les meilleurs résultats (state-of-the-art) sur cinq axes à la fois :

• la précision sur les tâches d'apprentissage séquentiel ;
• le degré d'oubli ;
• la qualité des explications ;
• l'atténuation des corrélations parasites ;
• la robustesse aux données hors distribution (out-of-distribution).

La comparaison porte sur cinq benchmarks, avec plus de 20 méthodes de référence. Les gains chiffrés précis sont à consulter dans l'article lui-même (arXiv 2610.33877), mais le choix des métriques traduit une intention : comparer non seulement « ce que le modèle retient », mais aussi « pour quelles raisons il tranche ».

À quoi cela peut servir

Les équipes qui affinent des modèles de vision sur un flux de nouvelles données disposent là d'une technique vérifiable. C'est le cas, par exemple, de l'inspection en production, de l'imagerie médicale et de la surveillance. Un test simple : après chaque nouveau cycle de réentraînement, comparer non seulement la précision, mais aussi la répartition de la pertinence entre les zones de l'objet et l'arrière-plan. Si l'arrière-plan gagne du poids, c'est le signe d'une dérive des explications, même quand les métriques restent stables.

Les limites sont tout aussi évidentes. L'approche dépend de la qualité de la recherche automatique des concepts et de leur ancrage dans l'image. Le travail est décrit sur des tâches de classification d'images, et le transfert à d'autres modalités devra être vérifié séparément. Mais l'idée d'extraire l'ancrage de la régularisation hors du modèle s'applique plus largement que le seul continual learning.