DISC apprend à combiner les métriques de similarité des séries temporelles et à prédire la réussite du transfert

Des chercheurs ont présenté DISC (Domain-Integrated Similarity Cost), un framework entraînable qui calibre et combine des métriques de similarité entre jeux de données de séries temporelles. Son objectif : prédire à l'avance dans quelle mesure un modèle de prévision se transférera des données source vers les données cible. Résultat principal : le score intégré concorde mieux avec les erreurs de prévision réelles que n'importe laquelle des métriques utilisées individuellement comme référence sur le split rapporté.

Pourquoi estimer le transfert à l'avance

La prévision de séries temporelles est un outil de base dans l'énergie, le retail, la finance et la supervision d'infrastructures. Lorsqu'une équipe dispose de plusieurs sources candidates pour le préentraînement ou le fine-tuning, une question se pose : sur quelles données entraîner le modèle pour obtenir le meilleur résultat sur les données cible ? Seule une recherche exhaustive donne une réponse fiable : adapter le modèle à chaque paire « source — cible » et comparer les erreurs. C'est coûteux, surtout quand les candidats sont nombreux.

Il faut donc une estimation rapide. De nombreuses métriques de similarité entre jeux de données ont été proposées, mais elles mesurent des choses différentes et ne sont pas corrélées de la même façon à ce qui compte vraiment : la qualité de la prévision après transfert. Les auteurs de DISC ont mesuré cet écart directement. Ils ont confronté les scores de similarité entre source et cible aux erreurs de prévision en aval (downstream) dans différents cadres, dont le transfer learning.

Aucune métrique ne vaut pour toutes les tâches

L'analyse montre qu'aucune métrique n'est un indicateur universel. L'utilité de la similarité dépend de la tâche. Une métrique qui reflète bien le transfert dans un cadre peut n'être que faiblement corrélée à l'erreur dans un autre. Choisir la métrique à la main expose donc à un risque d'erreur dès le départ.

DISC répond à ce problème par l'apprentissage sur des données de transfert observées. Le framework :

• choisit quelles métriques de similarité sont réellement nécessaires pour la tâche donnée ;
• leur attribue des poids ;
• combine les valeurs des métriques en un score unique ;
• calibre le score final par rapport à la qualité de prévision réelle.

L'idée clé tient à la complémentarité. Chaque métrique capte un aspect différent du lien entre jeux de données. Leur combinaison sépare plus précisément les différences entre source et cible qui influencent le comportement du modèle après transfert de celles qui n'ont aucun effet.

Ce que l'on obtient en sortie

Une fois calibré, DISC évalue les paires « source — cible » en utilisant uniquement les valeurs des métriques de similarité. Il n'est pas nécessaire de réentraîner les modèles de prévision pour cela. Selon les auteurs, sur le split rapporté, cette évaluation concorde davantage avec les résultats en aval que les métriques de référence prises isolément.

Une seconde conclusion concerne le domaine lui-même : la similarité entre séries temporelles dépend de la tâche. L'intégration apprise des métriques constitue un meilleur proxy du comportement lors du transfert que le choix manuel d'une seule métrique.

Où cela peut servir

Pour les équipes qui font de la prévision et réutilisent des données d'un domaine à l'autre, DISC propose un scénario de travail concret. D'abord, calculer un ensemble de métriques de similarité pour les candidats. Ensuite, obtenir le score intégré et retenir quelques sources parmi les plus prometteuses pour une adaptation réelle. La recherche exhaustive cède ainsi la place à une vérification rapide.

Il y a toutefois une limite : la calibration s'appuie sur des observations de transfert, si bien que la qualité de l'estimation dépend de la ressemblance entre les nouvelles tâches et celles sur lesquelles le framework a été réglé. Les résultats sont donnés pour un split rapporté, et il convient de vérifier comment ils se comportent sur vos propres domaines. Pour les praticiens qui constituent des corpus de préentraînement pour des modèles de séries temporelles, le cadre méthodologique a lui-même de la valeur : mesurer la similarité non pas selon la métrique habituelle, mais selon sa capacité à prédire l'erreur finale.

La publication est disponible sur arXiv sous le numéro 2610.31288.