Как объяснить непрерывное обучение нейросетей: attention rollout и Grad-CAM на временных рядах

En juillet 2026, un groupe de chercheurs a publié sur arXiv une étude dans laquelle des méthodes d'IA explicable — attention rollout et Grad-CAM — ont été appliquées à l'apprentissage continu (continual learning) de réseaux de neurones pour la prévision de séries temporelles, en testant les architectures PatchMixer, PatchTST et DLinear sur des données réelles de surveillance du niveau des eaux souterraines.

Ce que l'étude a examiné

Les auteurs de l'étude se sont concentrés sur l'explicabilité (explainability) en tant qu'outil aidant à comprendre ce qui se passe à l'intérieur du modèle lorsqu'il est réentraîné sur un flux de nouvelles données. La prévision de séries temporelles en conditions réelles — par exemple, la surveillance environnementale — est compliquée par la non-stationnarité : les statistiques des données changent avec le temps, et des changements brusques de régime apparaissent. Pour que le modèle n'« oublie » pas l'ancien en apprenant le nouveau, on applique la stratégie Experience Replay — la relecture d'exemples passés sélectionnés.

Les auteurs ont renforcé la sélection de ces exemples avec un mécanisme basé sur l'attention : le modèle lui-même « suggère » quels fragments de l'historique il est plus important de conserver pour l'adaptation.

• Type de tâche — apprentissage continu (continual learning) pour la prévision de séries temporelles
• Architectures — PatchMixer, PatchTST, DLinear
• Stratégie d'adaptation — Experience Replay avec sélection d'exemples basée sur l'attention
• Méthodes d'explicabilité — attention rollout et Grad-CAM (attribution par gradients)
• Données — séries piézométriques réelles (niveau des eaux souterraines) avec changements de régime

Pourquoi l'explicabilité compte ici

Dans ce travail, l'explicabilité n'est pas un ornement, mais un moyen de voir la logique de la sélection des données et de l'adaptation du modèle. Les modèles de deep learning affichent depuis longtemps de solides résultats sur les séries temporelles, mais leur adoption dans la surveillance réelle est freinée précisément par l'opacité et la sensibilité à la dynamique non stationnaire, notent les auteurs. Les méthodes attention rollout et Grad-CAM permettent de voir sur quelles parties de la série d'entrée le modèle s'appuie pour prévoir, et quels exemples il sélectionne pour le réentraînement.

Pour la pratique, c'est essentiel : si l'on voit quelles données et quelles caractéristiques influencent la prévision, l'ingénieur peut piloter le réentraînement de manière ciblée, plutôt que de s'en remettre au modèle comme à une boîte noire.

Ce que les expériences ont montré

Les expériences sur des séries piézométriques ont montré que l'analyse du comportement du modèle et du mécanisme de sélection des exemples fournit des informations précieuses sur la dynamique de l'apprentissage continu. Observation clé : les cartes d'attribution des caractéristiques ne sont pas statiques — elles évoluent dans le temps à mesure que les régimes changent dans les données. L'attention rollout retrace la façon dont l'attention se propage à travers les couches du modèle, tandis que Grad-CAM, via les gradients, montre la contribution de segments particuliers de la série — ensemble, elles offrent deux projections indépendantes d'une seule et même logique de prévision.

Selon les auteurs, cela ouvre la voie à l'utilisation de l'explicabilité pour une sélection des données et des stratégies d'adaptation plus réfléchies dans des scénarios non stationnaires.

«

Nos résultats mettent en évidence les défis et les opportunités liés à l'utilisation de l'explicabilité pour comprendre le comportement de l'apprentissage continu », indique le résumé de l'étude sur arXiv.

Ce que cela signifie

Ce travail est plutôt méthodologique qu'appliqué : les auteurs ne fournissent pas de métriques de précision concrètes dans le résumé. Mais la direction est importante — l'explicabilité passe d'une vérification a posteriori à un outil de travail pour piloter le réentraînement des modèles sur des données vivantes et changeantes. Un intérêt à part est le lien entre explicabilité et stratégie de sélection des données : l'attribution indique quels exemples historiques réintroduire dans l'entraînement lors d'un changement de régime. Pour la surveillance environnementale et d'autres scénarios avec dérive des données, c'est un pas vers des prévisions plus fiables et plus transparentes.

Questions fréquentes

Quels modèles ont été testés dans l'étude ?

Trois architectures de réseaux de neurones pour la prévision de séries temporelles : PatchMixer, PatchTST et DLinear. Elles ont été complétées par un mécanisme de sélection d'exemples basé sur l'attention pour soutenir l'adaptation du modèle dans le temps.

Sur quelles données l'approche a-t-elle été testée ?

Sur des séries temporelles piézométriques réelles — des données de surveillance du niveau des eaux souterraines présentant des motifs hétérogènes et des changements de régime (regime shifts), où les statistiques du signal changent avec le temps.