Des chercheurs découvrent chez Pythia une fenêtre critique entre 0,4 et 1,1 % du pré-entraînement où se restructure le readout

On considère souvent qu'un modèle a assimilé une compétence dès lors qu'il commence à générer le bon token. Une nouvelle publication repérée sur Hugging Face Daily Papers démontre que ce raisonnement induit un biais. Les états cachés peuvent contenir des informations sur la tâche bien avant que la sortie du modèle ne les exprime. En s'appuyant sur Pythia, les auteurs ont mis en évidence une fenêtre étroite, entre 0,4 et 1,1 % du pré-entraînement, durant laquelle la matrice d'unembedding (le readout) se restructure et laisse transparaître les catégories WordNet dans ses lignes.

La sortie apprend elle aussi

La prédiction d'un token passe par la matrice d'unembedding, qui convertit l'état caché en logits sur l'ensemble du vocabulaire. Cette matrice s'entraîne en parallèle de tout le reste de l'architecture. Par conséquent, une courbe comportementale montrant une hausse de la précision à partir de l'étape N confond deux dynamiques distinctes : ce que le modèle a déjà encodé en interne et ce que son readout est désormais capable d'exprimer vers l'extérieur.

Les auteurs ont vérifié ce phénomène de manière directe. Dès les premiers checkpoints, des sondes linéaires appliquées aux états cachés parviennent à décoder des informations sur la tâche, alors même que les sorties propres du modèle ne les manifestent pas encore. Il existe donc un décalage entre la connaissance interne et son expression, et c'est précisément cet écart qui fausse la datation de nombreuses « transitions » au cours du développement du modèle.

Parameter-trajectory crosscoding

Pour suivre l'évolution du readout, les chercheurs ont mis au point le parameter-trajectory crosscoding. Cette méthode entraîne un dictionnaire creux unique sur les lignes de readout pour chaque token à travers chaque checkpoint. Alors que les crosscodeurs classiques opèrent sur les activations et imposent de faire transiter des données à travers le modèle, cette approche ne nécessite que les poids des checkpoints. Cela simplifie considérablement l'analyse des modèles ouverts disposant de sauvegardes intermédiaires d'entraînement.

Observations clés :

• la fenêtre de réorganisation du readout chez Pythia se situe entre 0,4 et 1,1 % du pré-entraînement ;
• durant cette phase, les catégories WordNet deviennent décodables à partir des lignes du readout ;
• à son terme, les sondes sur les états cachés extraient déjà des informations absentes des sorties ;
• l'analyse n'exige que les poids des checkpoints, sans calcul d'activations ;
• l'augmentation du learning rate du readout n'affecte pratiquement pas la loss finale.

Expérience de contrôle sur le learning rate

Une simple corrélation ne suffisant pas, les auteurs ont procédé à une intervention causale. Ils ont entraîné from scratch de petits modèles en ne faisant varier que le learning rate du readout. Si l'écart constaté dépend de la vitesse d'apprentissage de la couche de sortie, il doit mécaniquement évoluer avec elle.

L'hypothèse s'est confirmée. Avec un learning rate plus élevé, le readout se structure plus tôt et le décalage entre l'état caché et la sortie se résorbe plus vite. La loss finale n'en pâtit presque pas. Cela signifie que la vitesse d'apprentissage du readout détermine le moment où une capacité devient visible de l'extérieur, sans modifier l'état final atteint par le modèle.

Comment exploiter ces résultats en pratique

Cette conclusion concerne la phase initiale d'entraînement, où l'on date traditionnellement de nombreuses transitions « soudaines ». Lorsque l'on trace les courbes d'émergence des capacités, se limiter aux métriques sur les sorties ne suffit pas. Il convient d'y adjoindre des sondes linéaires sur les états cachés pour confronter la chronologie : si la sonde devance la sortie, vous mesurez très probablement la maturation du readout plutôt que l'acquisition réelle de la compétence.

Pour les équipes qui entraînent leurs propres modèles, ces travaux constituent également une bonne raison d'évaluer un learning rate dédié pour l'unembedding. L'expérience ayant été validée sur de petits modèles et sur Pythia, il convient de rester prudent avant de généraliser ces conclusions aux architectures modernes à grande échelle. L'outil demeure néanmoins directement exploitable sur les checkpoints ouverts, dont les poids sont d'ores et déjà accessibles.