Grokking

Le grokking est un phénomène de dynamique d'entraînement dans lequel un réseau de neurones passe, souvent brusquement et après de nombreuses étapes supplémentaires de descente de gradient, d'un régime de mémorisation (précision d'entraînement proche de 100 %, mauvaise précision de validation) à une véritable généralisation sur les données retenues. Le terme a été introduit par Alethea Power et ses collègues chez DeepMind dans un article de 2022 étudiant les petits modèles de transformer entraînés sur des tâches d'arithmétique modulaire.

Dans les expériences originales, les modèles ont mémorisé l'ensemble d'entraînement rapidement mais n'ont montré aucune amélioration de la validation pendant des milliers d'étapes supplémentaires — puis ont soudainement généralisé presque parfaitement. La transition est considérée comme impliquant un changement structural dans les représentations internes : un circuit de « mémorisation » à norme élevée est progressivement remplacé par un circuit plus « algorithmique » efficace en poids encodant la vraie règle. La décroissance du poids, en pénalisant les solutions de grande norme, accélère ce changement et est un moyen fiable d'induire le grokking en pratique.

Le grokking importe car il remet en question l'heuristique conventionnelle d'arrêt précoce et l'hypothèse selon laquelle un entraînement continu après le surapprentissage est définitivement nuisible. Il démontre que la régularisation combinée au calcul suffisant peut produire des sauts qualitatifs de généralisation même lorsque les courbes de perte standard semblent stagnantes, replaçant le surapprentissage comme un mode de défaillance potentiellement transitoire plutôt que permanent.

En 2026, le grokking reste un domaine actif de recherche théorique. Les travaux suivants ont documenté des transitions de phase similaires dans des modèles plus grands et des paramètres plus naturalistes au-delà de l'arithmétique jouet. Il est devenu un point de référence clé dans les discussions sur les capacités émergentes des grands modèles de langage, les phénomènes de double descente et les mécanismes par lesquels les connaissances structurées sont consolidées lors de l'entraînement des réseaux de neurones.

Exemple

“Un transformer entraîné sur l'addition modulaire atteint une précision d'entraînement de 100 % mais seulement une précision de validation d'environ 50 % ; après 100 000 étapes supplémentaires de descente de gradient avec décroissance du poids, la précision de validation saute à plus de 99 %, illustrant une transition de grokking classique.