Apprentissage continu
L'apprentissage continu est un paradigme d'apprentissage automatique dans lequel un modèle apprend à partir d'un flux continu de tâches ou de données au cours du temps tout en conservant ses performances sur les connaissances précédemment acquises, sans réentraînement complet à partir de zéro.
L'apprentissage continu (également appelé apprentissage tout au long de la vie ou apprentissage incrémental) aborde l'une des lacunes les plus importantes entre l'intelligence artificielle et l'intelligence biologique : la capacité à accumuler progressivement des connaissances sans oublier catastrophiquement ce qui a été appris auparavant. Dans l'apprentissage profond standard, les modèles sont entraînés une seule fois sur un ensemble de données fixe, puis déployés de manière statique. L'apprentissage continu remplace cela par un processus continu où de nouvelles tâches, classes ou distributions de données arrivent séquentiellement et le modèle doit les intégrer sans accès simultané à toutes les données d'entraînement antérieures.
Le domaine distingue plusieurs paramètres de problèmes. L'apprentissage incrémental par tâche suppose que le modèle connaît la tâche qu'il effectue au moment de l'inférence. L'apprentissage incrémental par classe nécessite la classification parmi toutes les classes vues précédemment sans indices d'identité de tâche — un problème substantiellement plus difficile. L'apprentissage incrémental par domaine présente le même type de tâche mais avec des distributions d'entrée changeantes, comme des images capturées dans des conditions différentes au fil du temps. Chaque paramètre impose des contraintes différentes sur la façon dont l'oubli se manifeste et comment il devrait être mesuré.
Les techniques fondamentales se répartissent en trois familles. Les approches basées sur la régularisation, telles que la consolidation du poids élastique (EWC) et l'intelligence synaptique, identifient les poids importants pour les tâches précédentes et contraignent leurs mises à jour lors du nouvel entraînement. Les méthodes basées sur la récapitulation maintiennent une petite mémoire épisodique d'exemples passés — ou utilisent un modèle génératif pour synthétiser des pseudo-exemples — et les entrelacent avec de nouvelles données. Les approches basées sur l'architecture allouent une capacité réseau séparée ou croissante par tâche, protégeant les anciennes connaissances par l'isolation. Les grands modèles de base pré-entraînés ont modifié le paysage pratique : l'ajustement fin avec des méthodes efficaces en paramètres telles que LoRA ou prefix tuning provoque beaucoup moins d'oubli que l'entraînement de modèles spécifiques à la tâche à partir de zéro, rendant ces techniques directement pertinentes à la pratique de l'apprentissage continu.
Depuis 2026, l'apprentissage continu est de plus en plus important pour déployer des modèles linguistiques qui doivent s'adapter à de nouvelles informations — événements récents, faits actualisés, connaissances spécifiques aux utilisateurs — sans cycles de réentraînement complets. La génération augmentée par récupération (RAG) offre une stratégie complémentaire en externalisant les nouvelles connaissances vers une base de données consultable plutôt que de les encoder dans les poids. Des suites de repères incluant Continual World et CLEVA mesurent les progrès, bien que le domaine manque toujours d'une norme d'évaluation unique convenue.