UltraEP, da Xiaohongshu, balanceia especialistas de MoE em 300 µs e chega a 94,3% do ideal

A equipe dots infra, da Xiaohongshu (小红书, «Xiaohongshu»), apresentou o UltraEP, um runtime que equilibra em tempo real a carga dos especialistas de modelos MoE em sistemas rack-scale e alcança 94,3% do throughput ideal de treinamento e inferência. O artigo foi publicado no arXiv em 2 de junho de 2026.

Que problema o UltraEP resolve

O UltraEP elimina o desbalanceamento de carga entre os especialistas de modelos MoE, que deixa ociosos sistemas caros de GPUs em rack. Em nós rack-scale como o Huawei Atlas 900 A3 SuperPoD e o NVIDIA NVL72, dezenas de GPUs ficam reunidas em um único domínio de interconexão de alta velocidade, e os especialistas do modelo são distribuídos entre elas (Expert Parallelism). Os tokens escolhem os especialistas de forma desigual: algumas GPUs ficam sobrecarregadas e viram "retardatárias" (compute stragglers), surgem congestionamentos na comunicação all-to-all e picos de uso de memória para ativações.

Os balanceadores existentes reposicionam os especialistas periodicamente, com base na carga histórica. De acordo com os autores, em implantações reais de produção com padrão de carga não estacionário, essa abordagem não é confiável: o desbalanceamento entre ranks chega a 4,01× em relação à média, e parte das placas do rack fica ociosa enquanto as GPUs sobrecarregadas atrasam o passo inteiro.

Como funciona o balanceamento em 300 microssegundos

O UltraEP rebalanceia cada microbatch e cada camada diretamente no caminho crítico da computação, e não a cada N passos. O sistema reage à carga logo após o gating, usando um planejador orientado a cotas (quota-driven), e realiza transferências irregulares do estado dos especialistas por meio de persistent tile streaming, nativo dos nós rack-scale, com um mecanismo de relay contra a sobrecarga de fan-out. O custo adicional é de cerca de 300 microssegundos por rebalanceamento.

• 94,3% do throughput ideal (force-balanced), em média entre treinamento e inferência
• Aceleração de 1,49× em comparação com a execução sem balanceamento
• Desbalanceamento de carga entre ranks reduzido de 1,30–4,01 para 1,01–1,04
• Overhead do rebalanceamento: cerca de 300 microssegundos
• Testes em implantação multi-RSN com até 256 GPUs
• Modelos de 106 a 671 bilhões de parâmetros; arXiv 2606.04101, submetido em 2 de junho de 2026

«O

UltraEP é o primeiro balanceador com contabilização exata da carga em tempo real para treinamento e inferência de prefill de grandes modelos MoE em nós rack-scale», afirma o artigo da equipe dots infra no arXiv.

Por que isso importa para o treinamento de MoE

O UltraEP tira o balanceamento de especialistas do regime "periódico" e o leva para o tempo real, recuperando até 1,49× de throughput no mesmo hardware. Para modelos na casa dos 671 bilhões de parâmetros (a escala do DeepSeek-V3), isso significa que racks com dezenas de GPUs deixam de ficar ociosos por causa de especialistas "quentes", que recebem uma quantidade desproporcional de tokens. A chave para a velocidade é a própria topologia rack-scale: a conectividade ampliada entre dezenas de GPUs dentro do nó permite embaralhar os especialistas entre as placas mais rápido do que fazem os balanceadores periódicos clássicos.

O UltraEP foi implementado como um runtime independente e, segundo os autores, integra-se às pilhas de treinamento e inferência existentes sem reescrita.

O que isso significa

O balanceamento de carga está se tornando a próxima frente na disputa por eficiência em MoE, depois da largura de banda e da velocidade de comunicação. O UltraEP mostra que, com a conectividade dos nós rack-scale, é possível reembaralhar os especialistas literalmente a cada passo, extraindo de um hardware que custa milhões de dólares uma utilização quase ideal.

Perguntas frequentes

Em quais modelos o UltraEP foi testado?

O UltraEP foi avaliado em modelos MoE de ponta, de 106 a 671 bilhões de parâmetros, em implantação multi-RSN com até 256 GPUs, com resultados médios entre cenários de treinamento e de inferência prefill.

Quanto o UltraEP acelera o MoE?

Segundo o artigo, o UltraEP entrega 1,49× de ganho de throughput em relação à execução sem balanceamento e alcança 94,3% do máximo teórico com carga perfeitamente balanceada.

O que são sistemas rack-scale?

São nós em rack, como o Huawei Atlas 900 A3 SuperPoD e o NVIDIA NVL72, em que dezenas de GPUs ficam reunidas em um único domínio de interconexão de alta velocidade. É essa conectividade ampliada que permite ao UltraEP transferir o estado dos especialistas entre as placas em microssegundos.