BorisovAI teste un MoE sur une RTX 4090 et montre pourquoi la perplexité fausse l'évaluation des LLM

BorisovAI a publié l'analyse de 22 expériences menées avec une architecture MoE dans laquelle de nouveaux experts se branchent comme des plugins sur un modèle de langage gelé. Sur une seule RTX 4090, le schéma offrait un tableau presque parfait côté ingénierie : aucune dégradation des compétences existantes, routage précis et baisse notable de la perplexité. Mais lorsque le système a été évalué sur un benchmark de mathématiques, il s'est avéré qu'une belle métrique peut mener complètement ailleurs.

Comment le dispositif a été conçu

Le chercheur a gelé l'ensemble du modèle de base et ajouté à chaque couche MLP un petit expert entraînable, surmonté d'un routeur d'environ 37 mille paramètres. La logique est simple : on ne touche pas au backbone, on entraîne la nouvelle compétence séparément, puis on n'affine que le routeur pour qu'il envoie les bons tokens vers le bon expert. L'entraînement d'un nouveau domaine prenait environ une demi-heure : près de 15 minutes pour l'expert isolé et 15 minutes de plus pour l'intégrer au système.

Sur trois échelles, le schéma s'est montré très convaincant, quasiment sans compromis :

• GPT-2 124M avec 4 domaines a réduit la perplexité de 33,4 %
• Pythia-410M avec 6 domaines a réduit la perplexité de 34,3 %
• Pythia-1B avec 8 domaines a réduit la perplexité de 31,2 %
• La précision du routage a atteint 96 %, et la dégradation des compétences existantes est restée à 0,000 %

L'auteur a aussi testé plusieurs astuces populaires souvent conseillées pour les MoE. Les pénalités d'équilibrage de charge ont dégradé le résultat de 11 à 27 %, et l'entraînement conjoint des experts et du routeur a provoqué un effondrement de la qualité. L'équilibrage sans perte auxiliaire a donné les meilleurs résultats : il a gardé tous les experts « vivants » sans fonction de perte supplémentaire. À ce stade, tout ressemblait à un solide argument en faveur des LLM modulaires, où l'on peut brancher de nouvelles capacités sans réentraînement complet.

Là où la métrique a cédé

Les problèmes ont commencé quand l'architecture a été transposée sur Qwen 2.5 3B avec l'ajout d'un expert en mathématiques. D'après les métriques internes, tout était de nouveau excellent : la perplexité sur les textes mathématiques a baissé de 23,9 %, l'écart inter-domaines a été multiplié par 64,9 et le routeur choisissait le bon expert pratiquement sans erreur. Mais sur GSM8K, qui mesure précisément la capacité à résoudre des problèmes de niveau scolaire rédigés en texte, le modèle est passé de 74,4 % à 65,8 %.

«

Un modèle qui parle le langage des mathématiques ne sait absolument pas résoudre des problèmes ».

C'est la conclusion centrale de l'ensemble du travail. L'expert, entraîné sur des manuels et des articles, a bien assimilé la statistique du langage mathématique : où se placent d'ordinaire les formules, quels termes vont ensemble et à quoi ressemble un texte « correct » dans ce domaine. Mais GSM8K exige des chaînes de raisonnement, pas la reconnaissance d'un style. La baisse de perplexité ne mesurait donc pas une amélioration réelle du raisonnement, seulement une meilleure modélisation du texte du domaine. Le chercheur a vérifié séparément les alternatives (dégel des couches supérieures, entraînement conjoint et schéma en deux phases), mais toutes les variantes sont restées à environ 8,4–8,6 points de pourcentage en dessous.

Ce qui a mieux fonctionné

Le tournant est venu de l'autodistillation. Au lieu de textes mathématiques bruts, l'expert a été entraîné sur des solutions pas à pas que le modèle de base avait déjà réussi à obtenir correctement. Pour cela, 750 problèmes de GSM8K ont été utilisés : le modèle en a résolu 638, et ces solutions ont servi à constituer un jeu de données de 119 mille tokens. C'est 33 fois moins que le corpus de 4 millions de tokens de manuels et d'articles, mais le format s'est révélé bien plus proche de l'inférence réelle.

Le résultat a contredit les attentes. Après cet entraînement, GSM8K est monté à 75,5 % : 1,1 point de pourcentage au-dessus du modèle de base et 9,7 points de mieux que la variante entraînée sur du texte mathématique brut. La perplexité, elle, s'est dégradée de 17,8 %. On a aussi constaté que même le conditionnement des données compte : le format « question/réponse » a rapporté 2 à 3 points de plus que le format plus académique « problème/solution ». Autrement dit, mieux vaut entraîner l'expert pour la forme de son usage futur que pour un corpus abstraitement « de qualité ».

La tentative de transformer cette approche en boucle d'auto-amélioration n'a pas décollé. Les premières exécutions laissaient entrevoir une hausse de 75,5 % à 76,0 %, mais après avoir fixé la seed et élargi l'échantillon, l'effet s'est révélé n'être que du bruit statistique. En démarrage à froid, le nouvel expert atteignait vite un plateau ; en démarrage à chaud, la qualité baissait même, car trop de problèmes identiques se répétaient d'un cycle à l'autre et l'expert surapprenait. Le label smoothing a lui aussi échoué : en mathématiques, il a fait perdre environ 9 points supplémentaires.

Ce que cela signifie

Pour les développeurs de LLM, deux enseignements pratiques en ressortent. Premièrement, une architecture modulaire à experts enfichables peut effectivement ajouter des compétences de domaine sans oubli catastrophique. Deuxièmement, évaluer ces systèmes à la perplexité est risqué : elle peut s'améliorer précisément au moment où le modèle se met à moins bien raisonner. Si la tâche relève de la logique, du code ou des mathématiques, le critère principal doit être les benchmarks comportementaux, et pas seulement de belles métriques linguistiques.