Apple ML Research Révèle une Inefficacité dans le Routage Mixture-of-Experts

Des chercheurs d'Apple ML Research ont publié le travail Path-Constrained Mixture-of-Experts, proposant de voir les architectures MoE creuses à travers le prisme des « chemins d'experts » et révélant que la majorité des routes théoriquement possibles dans ces modèles restent sous-utilisées.

Qu'est-ce qu'un Chemin d'Expert

Dans une architecture creuse Mixture-of-Experts, chaque token à chaque couche est indépendamment acheminé vers un petit sous-ensemble de N experts. Le MoE standard prend cette décision token-par-token, sans tenir compte de l'historique des couches précédentes. Avec L couches, les routes uniques théoriquement possibles sont N^L : pour un modèle avec 8 experts et 32 couches, cela dépasse 10^28 variantes.

Apple ML Research propose de voir cela différemment : un « chemin d'expert » est la séquence complète de choix d'experts qu'un token effectue à travers toutes les couches du modèle. Cette perspective transforme l'analyse MoE d'un ensemble de décisions indépendantes au niveau des tokens en une analyse de trajectoires complètes.

Observations clés des auteurs :

• Malgré N^L chemins possibles, les tokens se regroupent en une petite fraction de routes
• Les chemins populaires ne sont pas aléatoires — ils correspondent aux fonctions linguistiques des tokens (partie du discours, fonction syntaxique, type sémantique)
• La grande majorité des routes théoriquement admissibles restent inexplorées pendant l'entraînement
• Les auteurs appellent cela « l'inefficacité statistique »

Pourquoi les Chemins Non Explorés sont-ils un Problème ?

Si la majorité des routes ne sont pas utilisées, les experts sur ces chemins reçoivent des mises à jour de gradient négligeables. La charge se distribue de manière inégale : certains experts sont surchargés et voient un nombre disproportionnément grand de tokens, tandis que d'autres restent inactifs et insuffisamment entraînés.

Le modèle dispose formellement d'une capacité énorme — routes N^L multipliées par les paramètres de chaque expert — mais n'en utilise en pratique qu'une petite fraction. En augmentant l'échelle à des centaines d'experts et des dizaines de couches, cet écart entre le potentiel théorique et pratique devient particulièrement prononcé.

Complexité supplémentaire : un routeur sans contraintes explicites doit découvrir indépendamment des chemins « bons » dans un vaste espace combinatoire, rendant l'entraînement moins stable et moins prévisible.

Comment Fonctionne le Path-Constrained MoE

Apple ML Research propose une famille d'architectures qui restreignent explicitement l'espace des chemins effectifs. Dans Path-Constrained MoE, le routeur prend des décisions sur la sélection du prochain expert en considérant le chemin que le token a déjà parcouru — le gardant dans un sous-ensemble admissible de continuations.

Principe clé : si les chemins utiles constituent une petite fraction de N^L et se corrèlent avec la structure linguistique des tokens, la limitation explicite de l'espace ne perd pas la puissance expressive du modèle, mais change fondamentalement la dynamique d'entraînement. Chaque expert dans le sous-ensemble admissible reçoit un flux plus uniforme de mises à jour. Les « zones mortes » — chemins qui sous le design standard ne seraient jamais utilisés — sont réduites.

Le lien entre les routes actives et la fonction linguistique des tokens rend ces contraintes théoriquement motivées : l'architecture codifie ce que le modèle aurait découvert empiriquement de toute façon.

Ce Que Cela Signifie

Le travail d'Apple ML Research soulève une question systémique sur la conception d'architectures MoE creuses : le routage indépendant standard produit un espace combinatoire vaste mais pratiquement vide. L'approche Path-Constrained peut rendre les grands modèles de langage plus efficaces en paramètres, plus stables en entraînement et plus prévisibles — surtout lors de la mise à l'échelle à des centaines d'experts et des dizaines de couches.