UltraEP de Xiaohongshu : un équilibrage des experts MoE en 300 µs, à 94,3 % de l'idéal

L'équipe dots infra de Xiaohongshu (小红书, « Xiaohongshu ») présente UltraEP, un runtime qui équilibre en temps réel la charge des experts des modèles MoE sur les systèmes rack-scale et atteint 94,3 % du débit idéal à l'entraînement comme à l'inférence. L'article a été publié sur arXiv le 2 juin 2026.

Quel problème UltraEP résout-il ?

UltraEP supprime le déséquilibre de charge entre les experts des modèles MoE, qui laisse inactifs de coûteux systèmes GPU en rack. Dans les nœuds rack-scale comme le Huawei Atlas 900 A3 SuperPoD et le NVIDIA NVL72, des dizaines de GPU sont réunis dans un même domaine d'interconnexion à haut débit, et les experts du modèle sont répartis entre eux (Expert Parallelism). Les tokens sollicitent les experts de façon inégale : certains GPU sont surchargés et deviennent des « retardataires » (compute stragglers), la communication all-to-all se congestionne et la mémoire consacrée aux activations connaît des pics.

Les équilibreurs existants réorganisent les experts de façon périodique, en s'appuyant sur la charge historique. Selon les auteurs, cette approche n'est pas fiable dans les déploiements de production réels, où le profil de charge n'est pas stationnaire : le déséquilibre entre rangs atteint 4,01× par rapport à la moyenne, et une partie des cartes du rack reste inactive pendant que les GPU surchargés ralentissent l'ensemble de l'étape.

Comment fonctionne l'équilibrage en 300 microsecondes

UltraEP rééquilibre chaque micro-batch et chaque couche directement sur le chemin critique du calcul, et non tous les N pas. Dès la sortie du gating, le système réagit à la charge grâce à un ordonnanceur piloté par quotas. Il réalise des transferts irréguliers d'états d'experts par persistent tile streaming, un mécanisme natif des nœuds rack-scale, associé à un mécanisme de relais contre la surcharge du fan-out. Le surcoût supplémentaire est d'environ 300 microsecondes par rééquilibrage.

• 94,3 % du débit idéal (force-balanced), en moyenne sur l'entraînement et l'inférence
• Accélération de 1,49× par rapport à l'absence d'équilibrage
• Déséquilibre de charge entre rangs ramené de 1,30–4,01 à 1,01–1,04
• Surcoût du rééquilibrage : environ 300 microsecondes
• Tests : déploiement multi-RSN jusqu'à 256 GPU
• Modèles de 106 à 671 milliards de paramètres ; arXiv 2606.04101, soumis le 2 juin 2026

«

UltraEP est le premier équilibreur à tenir compte de façon exacte de la charge en temps réel pour l'entraînement et l'inférence en prefill de grands modèles MoE sur des nœuds rack-scale », indique l'article de l'équipe dots infra sur arXiv.

Pourquoi c'est important pour l'entraînement des MoE

UltraEP fait passer l'équilibrage des experts du mode « périodique » au temps réel et récupère jusqu'à 1,49× de débit sur le même matériel. Pour des modèles de la classe des 671 milliards de paramètres (l'échelle de DeepSeek-V3), cela signifie que des racks de dizaines de GPU cessent de rester inactifs à cause d'experts « chauds », auxquels est adressée une part disproportionnée des tokens. La clé de la vitesse tient à la topologie rack-scale elle-même : la connectivité étendue entre des dizaines de GPU au sein d'un nœud permet de déplacer les experts d'une carte à l'autre plus vite que ne le font les équilibreurs périodiques classiques.

UltraEP est conçu comme un runtime autonome et, selon les auteurs, s'intègre aux stacks d'entraînement et d'inférence existants sans les réécrire.

Ce que cela signifie

L'équilibrage de charge devient le prochain front de la course à l'efficacité des MoE, après la bande passante et la vitesse des communications. UltraEP montre qu'avec la connectivité des nœuds rack-scale, les experts peuvent être redistribués littéralement à chaque pas, ce qui permet de tirer un taux d'utilisation quasi idéal d'un matériel valant des millions de dollars.

Questions fréquentes

Sur quels modèles UltraEP a-t-il été testé ?

UltraEP a été évalué sur des modèles MoE de pointe de 106 à 671 milliards de paramètres, dans un déploiement multi-RSN jusqu'à 256 GPU, avec des résultats moyennés sur des scénarios d'entraînement et d'inférence en prefill.

De combien UltraEP accélère-t-il les MoE ?

Selon l'article, UltraEP apporte un gain de débit de 1,49× par rapport à l'absence d'équilibrage et atteint 94,3 % du maximum théorique obtenu avec une charge parfaitement équilibrée.

Qu'est-ce qu'un système rack-scale ?

Ce sont des nœuds en rack comme le Huawei Atlas 900 A3 SuperPoD et le NVIDIA NVL72, où des dizaines de GPU sont réunis dans un même domaine d'interconnexion à haut débit. C'est précisément leur connectivité étendue qui permet à UltraEP de transférer les états des experts entre les cartes en quelques microsecondes.