SUM : une méthode côté serveur contre l'« oubli » en apprentissage continu fédéré, jusqu'à +22 %

Une équipe de chercheurs a publié sur arXiv en juillet 2026 la méthode SUM (Unified Geometric Surgery on Spatio-Temporal Adaptation Vectors), un framework côté serveur pour l'apprentissage continu fédéré. Il réduit l'« oubli catastrophique » et améliore les performances de jusqu'à 22 % par rapport aux méthodes FCIL antérieures.

Le problème que SUM cherche à résoudre

SUM s'attaque à l'« oubli catastrophique spatio-temporel » (Spatial-Temporal Catastrophic Forgetting, ST-CF), c'est-à-dire la perte de connaissances à la jonction de deux approches d'apprentissage. Le Federated Class Incremental Learning (FCIL) associe l'apprentissage fédéré (Federated Learning, FL), où le modèle apprend à partir des données isolées de différents clients, et l'apprentissage continu (Continual Learning, CL), où les tâches arrivent de façon séquentielle.

Selon l'article publié sur arXiv, cette combinaison engendre deux sources d'interférences. La première est l'interférence spatiale, causée par des clients hétérogènes dont les données diffèrent. La seconde est l'interférence temporelle, causée par les tâches successives : les nouvelles connaissances chassent les anciennes. Les méthodes antérieures traitaient ces problèmes par des mécanismes distincts, imposaient souvent des calculs ou des échanges de données supplémentaires aux clients, et ne régulaient pas les interactions directionnelles entre les mises à jour pendant l'agrégation.

Comment fonctionne la « chirurgie géométrique »

SUM fonctionne entièrement côté serveur et corrige les « vecteurs d'adaptation » pendant l'agrégation des mises à jour. Les auteurs proposent de traiter le FCIL comme un problème unique d'apprentissage multitâche, où les mises à jour, qu'elles viennent des clients ou des tâches, sont des vecteurs dans un espace de paramètres commun.

• SUM est un framework côté serveur, sans calcul, communication ni mémoire supplémentaires côté client
• Spatial SUM supprime l'interférence entre clients au sein de chaque tour d'entraînement
• Temporal SUM (causal online) élimine l'interférence entre tâches dans le temps
• Gain de performance : jusqu'à 22 % par rapport aux méthodes FCIL précédentes
• Tests sur des benchmarks de vision par ordinateur et de langage, avec une robustesse face aux clients non fiables

Quel gain par rapport aux approches précédentes ?

SUM devance les méthodes FCIL précédentes de jusqu'à 22 % sur divers benchmarks de vision et de langage, tout en préservant l'efficacité de calcul. La différence clé : toute la « réparation » a lieu lors de l'agrégation sur le serveur, de sorte que les clients n'ont ni à effectuer de calculs supplémentaires ni à transmettre de données en plus.

«

Spatial SUM réduit l'interférence au niveau des clients au sein de chaque tour, tandis que Temporal SUM, causal et online, supprime l'interférence entre tâches dans le temps, sans calcul, communication ni mémoire supplémentaires côté client au-delà de l'apprentissage fédéré standard », indique le résumé de l'article sur arXiv.

Les auteurs soulignent par ailleurs la robustesse de la méthode face aux clients non fiables, c'est-à-dire ceux qui renvoient des mises à jour bruitées ou incomplètes. Ce point compte pour les systèmes distribués réels, où une partie des appareils fonctionne toujours de manière instable.

Ce que cela signifie

L'apprentissage continu fédéré concerne les systèmes qui doivent à la fois apprendre à partir de données privées dispersées et s'adapter à de nouvelles tâches sans réentraînement from scratch. SUM montre qu'on peut lutter contre l'oubli côté serveur, sans reporter la charge sur les appareils clients, ce qui rend l'approche applicable aux téléphones, à l'IoT et à d'autres équipements aux ressources limitées.

Questions fréquentes

Qu'est-ce que le Federated Class Incremental Learning ?

Le FCIL associe l'apprentissage fédéré (le modèle apprend à partir des données isolées de nombreux clients, sans les rassembler en un seul endroit) et l'apprentissage incrémental par classes (de nouvelles classes et tâches arrivent au fil du temps). La principale difficulté est l'« oubli catastrophique » : le modèle perd ses anciennes connaissances lorsqu'il en apprend de nouvelles.

En quoi SUM diffère-t-il des méthodes FCIL précédentes ?

SUM ne fonctionne que sur le serveur et réunit, dans un seul mécanisme, la lutte contre l'interférence spatiale et contre l'interférence temporelle : une « chirurgie géométrique » appliquée aux vecteurs d'adaptation. Les approches antérieures utilisaient des mécanismes séparés et sollicitaient souvent les clients, alors que SUM ne leur demande ni calcul, ni communication, ni mémoire supplémentaires.