Un audit des métriques de grokking montre que les premières estimations de compression sont gonflées de plusieurs fois

En juillet 2026, des chercheurs ont publié sur arXiv un audit des méthodes de mesure du « grokking », un effet par lequel un réseau de neurones généralise brusquement après avoir cessé d'améliorer sa précision sur le jeu d'entraînement. Ils montrent que la métrique populaire effective rank surestime de plusieurs fois le degré de compression de la représentation du modèle lorsqu'on la mesure juste au moment de la transition de grokking.

Qu'est-ce que le grokking et pourquoi est-il difficile à mesurer

Le grokking est un phénomène dans lequel un réseau de neurones entraîné sur des tâches comme l'arithmétique modulaire commence par mémoriser le jeu d'entraînement, puis, des dizaines de milliers de pas d'entraînement plus tard, généralise brusquement la régularité et se met à résoudre correctement des exemples qu'il n'avait jamais vus. Les chercheurs associent souvent le grokking à une « compression » de la représentation interne du réseau (embedding) et utilisent la métrique effective rank pour la mesurer.

Les auteurs de l'audit montrent que mesurer l'effective rank exactement au moment de la transition de grokking, pratique courante dans ce domaine, donne une image déformée : la compression de l'embedding se poursuit pendant des dizaines de milliers de pas après que le réseau a déjà généralisé la tâche.

À quel point les estimations sont-elles faussées

• Sur une architecture MLP, l'effective rank mesuré au moment de la transition de grokking surestime la valeur finale (convergée) de 3 à 5 fois
• Sur un transformer entraîné jusqu'à convergence complète, la surestimation est moindre : de 1,3 à 1,5 fois
• Sur le MLP, cette mesure précoce « efface » en outre l'information sur les cellules de la représentation qui se compriment réellement
• Le retard de la compression par rapport à la transition vers des réponses justes est de l'ordre de la durée du grokking lui-même, soit au moins 10 000 pas d'entraînement
• L'ajout de LayerNorm à un transformer fait passer la part de compression achevée au moment du grokking de 0,87 à 0,25

Ce qu'a montré la vérification sur l'architecture

Une expérience d'ablation à variable unique, où l'on ne modifie qu'un seul paramètre de l'architecture pour isoler son effet, a révélé que c'est LayerNorm qui détermine l'ampleur de ce retard. Sans elle, le transformer comprime la représentation presque en phase avec la transition de grokking (0,87) ; avec LayerNorm, l'essentiel de la compression survient après (0,25). Une expérience de contrôle préenregistrée (pre-registered control) a écarté l'invariance d'échelle comme explication alternative de l'effet.

Les auteurs ont aussi testé une « loi de profondeur » plus étroite, propre aux MLP, qui relie le budget de normalisation à la valeur convergée de compression. Ils ont constaté que cette loi ne se transpose pas aux transformers et change même de signe avec un weight decay libre, autrement dit qu'elle est instable hors de l'ensemble restreint de conditions pour lequel elle a été établie.

Ce que cela signifie

Ce travail n'est pas seulement une nouvelle métrique, mais un audit méthodologique. Les auteurs proposent un protocole qui sépare le moment où la généralisation commence de celui où la compression s'achève, signale les cas de censoring (quand la métrique atteint le plafond de mesure) et exclut les cellules « de bord » de la représentation, qui ne généralisent jamais complètement. Leur propre batterie de tests adversariaux a détecté une erreur de false-confidence dans leur propre branche de code, ce qui souligne la facilité avec laquelle une mesure superficielle du grokking peut produire un résultat faussement assuré, mais erroné. Le code et les outils de l'audit sont en accès libre.

Pour les chercheurs en interprétabilité, cela implique de revoir les pratiques : si un article sur le fonctionnement d'un réseau de neurones repose sur un effective rank mesuré à un seul instant, juste après que le modèle a commencé à résoudre correctement la tâche, ses conclusions sur le degré de compression de la représentation sont très probablement surestimées et doivent être revérifiées sur un modèle convergé. Une autre leçon concerne les composants architecturaux comme LayerNorm : leur présence ou leur absence peut modifier radicalement non pas le fait du grokking lui-même, mais la dynamique de ce qui arrive à la représentation du réseau ensuite. Comparer directement les résultats obtenus sur des MLP et sur des transformers, sans correction liée à l'architecture, est donc lui aussi risqué.