SAE sur Gemma-2-2B : la part de features concordantes passe de 2% à 29% avec 50M de tokens

Les sparse autoencoders (SAE) sont devenus l'un des principaux outils d'interprétabilité des modèles de langage. On les entraîne en général sur des centaines de millions, voire des milliards de tokens d'activations. Presque personne n'a vérifié qu'une telle échelle était réellement nécessaire. Les auteurs d'une nouvelle étude publiée sur Hugging Face Daily Papers l'ont fait : ils ont pris quatre architectures de SAE, trois modèles de langage et des budgets allant de 5M de tokens jusqu'au budget de référence de 500M. Leur principal résultat : la réponse dépend de ce que l'on mesure. Pour Gemma-2-2B avec BatchTopK, la part de features strictement concordantes passe de 2% à 5M de tokens à 29% à 50M.

Deux mesures de convergence

Les chercheurs distinguent deux notions. La première est le comportement fonctionnel : la qualité de la reconstruction et les résultats sur les benchmarks standard de SAE. La seconde est la reproductibilité « un pour un » : un SAE entraîné indépendamment retrouve-t-il exactement les mêmes features que le SAE de référence ?

L'écart est net. La reconstruction atteint souvent le niveau de la référence complète avec des budgets sensiblement plus faibles. La reproductibilité des features, elle, continue de s'améliorer à mesure que les données augmentent. Un SAE peut donc paraître « prêt » d'après les métriques, alors que son dictionnaire de features reste instable.

Principales observations de l'étude :

• Échelle de l'expérience : 4 architectures de SAE, 3 modèles de langage, des budgets de 5M à 500M de tokens.
• Gemma-2-2B, BatchTopK : 2% de features strictement concordantes à 5M de tokens, 29% à 50M.
• Le besoin en données dépend fortement de la métrique : la reconstruction sature plus tôt, pas la reproductibilité.
• L'échantillonnage aléatoire conserve mieux la distribution d'origine des activations et l'emporte généralement sur la reconstruction.
• L'échantillonnage par diversité améliore souvent le résultat sur AutoInterp.

Comment choisir les données

Le volume ne fait pas tout : la méthode de sélection compte aussi. L'échantillonnage aléatoire reproduit plus fidèlement la distribution des activations ; il est donc généralement préférable lorsque l'on cherche une bonne reconstruction. L'échantillonnage fondé sur la diversité couvre davantage de comportements rares du modèle, ce qui augmente fréquemment les scores AutoInterp, c'est-à-dire l'interprétation automatique des features. Il n'existe pas de « meilleur » échantillonneur unique : le choix dépend de l'objectif.

La partie théorique de l'étude explique pourquoi les deux métriques divergent. La cohérence statistique d'un entraînement sur un sous-échantillon est une condition. La récupération des features un pour un exige des conditions d'identifiabilité et d'optimisation plus strictes. Autrement dit, même si un sous-échantillon offre une bonne approximation de la fonction objectif, rien ne garantit que des entraînements distincts convergent vers le même ensemble de features.

Que faire en pratique

La conclusion pour les équipes qui entraînent des SAE est assez terre à terre. Si l'objectif est d'obtenir rapidement un SAE opérationnel avec une bonne reconstruction, un budget de centaines de millions de tokens est souvent excessif, d'après les résultats. Cela réduit le coût des expériences, notamment lors de la comparaison d'architectures et d'hyperparamètres.

En revanche, si vous publiez des affirmations sur des features précises, du type « ce latent encode tel concept », les seules métriques de reconstruction ne suffisent pas. Il faut une vérification explicite de la reproductibilité : plusieurs entraînements indépendants et une mise en correspondance des features entre eux. Un faible taux de concordance avec un petit budget, comme les 2% à 5M de tokens, signale que certaines features peuvent être un artefact d'un entraînement particulier.

Enfin, mieux vaut choisir l'échantillonneur en fonction de l'objectif. Pour la reconstruction, commencez par un échantillonnage aléatoire ; pour l'interprétabilité mesurée par AutoInterp, testez une sélection par diversité. Les auteurs soulignent qu'avec des objectifs et des budgets cohérents, la recherche sur les SAE peut devenir moins coûteuse et plus fiable. Réserve : les chiffres valent pour des modèles et des architectures précis, et leur transposition à d'autres échelles demande une vérification distincte.