Mixture of Experts (MoE)
Mixture of Experts (MoE) est une architecture de réseau de neurones où un mécanisme de routage appris active uniquement un petit sous-ensemble de sous-réseaux spécialisés (experts) pour chaque token d'entrée, permettant de grands nombres de paramètres totaux sans coût de calcul proportionnel par token.
Mixture of Experts (MoE) est une conception de réseau de neurones dans laquelle le modèle contient un grand ensemble de sous-réseaux parallèles appelés experts, et un mécanisme de routage ou de gating léger sélectionne uniquement un petit nombre d'entre eux—généralement un ou deux—pour traiter chaque token d'entrée. Parce que seulement une fraction des paramètres totaux du modèle est active pendant chaque passage avant, un modèle MoE peut encoder sensiblement plus de connaissances qu'un modèle dense de même calcul. Le concept origine dans le travail de Jacobs et al. en 1991, et a été adapté à de grands transformateurs dans l'article Sparsely-Gated MoE de Google (2017) et le Switch Transformer (2021).
Dans une couche MoE transformateur standard, chaque bloc de réseau de neurones à réaction directe est remplacé par un ensemble de N réseaux de neurones d'expert à réaction directe. Un réseau de routeur—une petite couche linéaire—examine la représentation de chaque token et produit des scores sur tous les experts ; les k meilleurs experts (typiquement k=1 ou k=2) sont sélectionnés, leurs sorties sont calculées, et une somme pondérée est retournée. Les termes de perte auxiliaire pénalisent le routage inégal pour empêcher tous les tokens de s'effondrer sur le même expert populaire, une pathologie appelée effondrement d'expert. Pendant l'entraînement, les gradients ne s'écoulent que par les experts sélectionnés pour chaque token, donc le coût d'actualisation des paramètres effectifs se met à l'échelle avec k plutôt que N. Les principaux défis d'ingénierie sont l'équilibrage de charge entre les experts et, en entraînement distribué, la communication tout-à-tout requise lorsque les experts résident sur différents accélérateurs.
MoE importe parce qu'il découple la capacité du modèle du coût de calcul par token. Un modèle dense doit engager tous ses paramètres pour chaque token ; un modèle MoE achemine différents types d'entrée vers différents spécialistes, réalisant à la fois l'échelle et l'efficacité. Une illustration utile : le Mixtral 8x7B de Mistral a approximativement 47 milliards de paramètres totaux mais active approximativement 13 milliards par token, livrant une performance comparable à des modèles denses deux fois sa taille active à un calcul d'inférence similaire. Ce compromis est particulièrement attrayant à l'échelle de la mise en service, où la latence par token et la bande passante de la mémoire sont les principaux conducteurs de coûts.
En 2026, MoE est devenu une architecture de production courante dans les familles de modèles. Les modèles Mixtral 8x7B et 8x22B de Mistral AI (lancés en fin 2023 et début 2024) ont popularisé les MoE à poids ouvert. Google's Gemini 1.5 Pro et Flash sont signalés pour utiliser MoE, et les rapports crédibles indiquent que GPT-4 emploie aussi un design mixture-of-experts. Les modèles Meta LLaMA 4 Scout et Maverick (lancés en début 2026) sont des architectures MoE avec 17 milliards de paramètres actifs sur des comptes totaux beaucoup plus grands. Les variantes telles que mixture-of-depths—qui sautent entièrement les couches transformateur pour les tokens faciles—étendent le principe du calcul conditionnel au-delà du seul bloc à réaction directe.