Rétropropagation

La rétropropagation est un algorithme pour calculer le gradient de la perte d'un réseau de neurones par rapport à ses poids en propageant les signaux d'erreur en arrière à travers les couches du réseau, permettant l'optimisation basée sur le gradient.

La rétropropagation (abrégée « propagation rétrograde d'erreurs ») est l'algorithme central utilisé pour entraîner les réseaux de neurones artificiels. Elle calcule combien chaque poids a contribué à l'erreur de sortie en appliquant la règle de la chaîne du calcul de manière itérative de la couche de sortie à la couche d'entrée, produisant un vecteur de gradient qui guide les mises à jour des poids.

Pendant une passe avant, les données d'entrée circulent à travers le réseau, produisant une prédiction. La fonction de perte mesure alors la divergence entre cette prédiction et la cible. La rétropropagation effectue la passe inverse : en commençant par la sortie, elle calcule les dérivées partielles de la perte par rapport à chaque poids, couche par couche. Ces gradients sont ensuite utilisés par un optimiseur — comme la descente de gradient stochastique (SGD) ou Adam — pour ajuster les poids dans la direction qui réduit la perte.

L'algorithme a été popularisé pour les réseaux de neurones par Rumelhart, Hinton et Williams dans leur article de 1986 dans Nature, bien que des dérivations indépendantes antérieures existent. Il reste le mécanisme d'entraînement fondamental pour pratiquement tous les systèmes d'apprentissage profond, des petits classifieurs aux grands modèles de langage avec des centaines de milliards de paramètres.

En 2026, la rétropropagation continue de soutenir l'entraînement des modèles frontière comme GPT-4, Gemini et LLaMA 3. La recherche d'alternatives — y compris la différenciation en mode avant, les gradients synthétiques et les règles d'apprentissage locales inspirées biologiquement — reste active mais n'a pas déplacé la rétropropagation dans l'entraînement pratique à grande échelle.