Les transformeurs savent-ils choisir un modèle ? Un test bayésien arXiv sur 2,8M de paramètres

Un transformeur de 2,8 M de paramètres a appris la sélection bayésienne de modèle, c'est-à-dire à déterminer de quelle classe d'hypothèses ont été générées les données, avec un écart de seulement 0,01 bit par rapport à l'optimum théorique. C'est ce que montre l'article « Bayesian Wind Tunnels for Model Selection », publié sur arXiv en juillet 2026.

Que sont les « souffleries bayésiennes » ?

Les « souffleries bayésiennes » sont des environnements contrôlés où la distribution a posteriori exacte sur les classes d'hypothèses est connue en forme close : la réponse du modèle peut donc être comparée directement à l'optimum bayésien. On savait déjà que les transformeurs réalisent un filtrage bayésien exact au sein d'une seule classe d'hypothèses fixée. La nouvelle question des auteurs : le modèle sait-il choisir la classe elle-même, c'est-à-dire reconnaître quelle structure a engendré les données ?

Les tâches reposent sur des involutions sans point fixe, des fonctions vérifiant f(f(x))=x, une propriété purement relationnelle. Le transformeur atteint l'optimum même lorsque les symboles sont opaques et que leur signification change à chaque épisode. Ce recours à des symboles opaques est important : il élimine les indices auxquels le modèle pourrait se raccrocher et ne laisse que la structure de la tâche.

• Modèle : transformeur de 2,8 M de paramètres, testé sur 3 seeds
• Écart d'entropie avec l'optimum bayésien : 0,01 bit
• Comparaison non imbriquée (involutions contre 3-cycles) : erreur MAE sur l'a posteriori inférieure à 0,001
• La frontière sur les tâches arithmétiques tient avec un changement d'échelle d'un facteur 112 (2,8M → 316M de paramètres)
• Écart de calibration des LLM actuels : environ 55×

Où la sélection de modèle s'effondre

La sélection de modèle échoue complètement lorsque les classes ne se distinguent que par l'arithmétique, addition ou multiplication modulaire : le transformeur s'en sort alors avec des tokens entiers, mais échoue sur des symboles opaques. D'après le résumé de l'article, cette frontière subsiste quand le modèle est multiplié par 112, de 2,8 à 316 M de paramètres : la taille du réseau n'est donc pas en cause.

Le diagnostic par sous-tâches a localisé la défaillance : elle survient sur la composition de l'inversion de l'en-tête avec l'arithmétique, et non sur l'analyse de l'en-tête elle-même.

Une affaire de sémantique stable

L'échec ne tient pas aux nombres en tant que tels, mais à la stabilité des significations. Une expérience de contrôle sur la stationnarité a montré que des tokens opaques avec un remappage fixe donnent une erreur de seulement 0,009 bit, soit des performances équivalentes à celles des entiers.

«

Une sémantique stable, et non l'identité entière, permet de compiler le circuit de calcul », indique le résumé de l'article sur arXiv.

L'évaluation de LLM de pointe actuels sur les mêmes tâches a révélé un comportement qualitativement bayésien, mais avec un large écart de calibration, d'environ 55×. Les auteurs soulignent que cette estimation provient de sondes fondées sur la perte (« loss probes ») : elle indique donc une tendance, pas une valeur exacte.

Ce que cela signifie

Ce travail trace une frontière précise des capacités des transformeurs : ils savent choisir un modèle, mais seulement lorsque le trait discriminant donne un accès stable à la sémantique. C'est un repère pour l'interprétabilité mécaniste : il montre quels circuits de calcul le réseau peut « compiler » et lesquels lui restent inaccessibles, quel que soit le nombre de paramètres.

Questions fréquentes

Qu'est-ce que la sélection bayésienne de modèle ?

C'est la capacité à déterminer de quelle classe d'hypothèses proviennent les données, et non simplement à estimer des paramètres au sein d'une seule classe. Dans l'étude, le transformeur compare par exemple des involutions à des 3-cycles et produit un a posteriori avec une erreur inférieure à 0,001.

Pourquoi le modèle échoue-t-il sur l'arithmétique ?

Lorsque le trait distinguant les classes exige une addition ou une multiplication modulaire, le transformeur ne s'en sort qu'avec des tokens entiers et échoue totalement sur des symboles abstraits. Le contrôle a montré que ce qui compte est la stabilité de la sémantique des tokens, et non leur nature numérique.