UltraEP de Xiaohongshu: balanceo de expertos MoE en 300 µs y el 94,3% del rendimiento ideal

El equipo dots infra de Xiaohongshu (小红书, «Xiaohongshu») ha presentado UltraEP, un runtime que equilibra en tiempo real la carga de los expertos de los modelos MoE en sistemas rack-scale y alcanza el 94,3% del throughput ideal en entrenamiento e inferencia. El artículo se publicó en arXiv el 2 de junio de 2026.

Qué problema resuelve UltraEP

UltraEP elimina el desequilibrio de carga entre los expertos de los modelos MoE, que deja ociosos a unos sistemas de GPU en rack muy costosos. En nodos rack-scale como Huawei Atlas 900 A3 SuperPoD y NVIDIA NVL72, decenas de GPU forman un único dominio de interconexión de alta velocidad, y los expertos del modelo se reparten entre ellas (Expert Parallelism). Los tokens eligen a los expertos de forma desigual: unas GPU se sobrecargan y se convierten en rezagadas (compute stragglers), se producen atascos en la comunicación all-to-all y aparecen picos de memoria para las activaciones.

Los balanceadores existentes reubican a los expertos de forma periódica, a partir de la carga histórica. Según los autores, en despliegues reales de producción con un patrón de carga no estacionario este enfoque no es fiable: el desequilibrio entre rangos llega a 4,01× respecto a la media, y parte de las tarjetas del rack permanece ociosa mientras las GPU sobrecargadas frenan todo el paso.

Cómo funciona el balanceo en 300 microsegundos

UltraEP reequilibra cada microbatch y cada capa directamente en la ruta crítica del cómputo, no cada N pasos. El sistema reacciona a la carga justo después del gating mediante un planificador guiado por cuotas (quota-driven) y realiza transferencias irregulares del estado de los expertos con persistent tile streaming, nativo de los nodos rack-scale, junto con un mecanismo de relay contra la sobrecarga de fan-out. El coste adicional es de unos 300 microsegundos por reequilibrio.

• 94,3% del throughput ideal (force-balanced), promediado entre entrenamiento e inferencia
• Aceleración de 1,49× frente a trabajar sin balanceo
• Desequilibrio de carga entre rangos reducido de 1,30–4,01 a 1,01–1,04
• Overhead del reequilibrio: unos 300 microsegundos
• Pruebas en despliegues multi-RSN de hasta 256 GPU
• Modelos de 106 a 671 mil millones de parámetros; arXiv 2606.04101, enviado el 2 de junio de 2026

«UltraEP es el primer balanceador con contabilidad exacta de la carga en tiempo real para el entrenamiento y la inferencia prefill de grandes modelos

MoE en nodos rack-scale», afirma el artículo del equipo dots infra en arXiv.

Por qué importa para el entrenamiento de MoE

UltraEP traslada el balanceo de expertos del plano «periódico» al tiempo real y recupera hasta 1,49× de throughput con el mismo hardware. Para modelos de 671 mil millones de parámetros (la escala de DeepSeek-V3), esto significa que los racks de decenas de GPU dejan de quedarse parados por culpa de los expertos «calientes», que reciben un número desproporcionado de tokens. La clave de la velocidad es la propia topología rack-scale: la conectividad ampliada entre decenas de GPU dentro del nodo permite mover expertos entre tarjetas más rápido que los balanceadores periódicos clásicos. UltraEP está implementado como un runtime independiente y, según sus autores, se integra en las pilas de entrenamiento e inferencia existentes sin reescribirlas.

Qué significa

El balanceo de carga se perfila como el siguiente frente en la lucha por la eficiencia de los MoE, después del ancho de banda y la velocidad de las comunicaciones. UltraEP muestra que, con la conectividad de los nodos rack-scale, los expertos se pueden reordenar literalmente en cada paso y extraer una utilización casi ideal de un hardware que cuesta millones de dólares.

Preguntas frecuentes

¿En qué modelos se probó UltraEP?

UltraEP se evaluó con modelos MoE de vanguardia de entre 106 y 671 mil millones de parámetros, en despliegues multi-RSN de hasta 256 GPU, promediando los resultados entre escenarios de entrenamiento e inferencia prefill.

¿Cuánto acelera UltraEP los MoE?

Según el artículo, UltraEP aporta una mejora de throughput de 1,49× respecto a trabajar sin balanceo y alcanza el 94,3% del máximo teórico con una carga perfectamente equilibrada.

¿Qué son los sistemas rack-scale?

Son nodos en rack como Huawei Atlas 900 A3 SuperPoD y NVIDIA NVL72, donde decenas de GPU se unen en un único dominio de interconexión de alta velocidad. Es precisamente esa conectividad ampliada la que permite a UltraEP trasladar el estado de los expertos entre tarjetas en microsegundos.