Decodificação síncrona em MoE faz as GPUs esperarem o grupo mais sobrecarregado

Adicionar GPUs ao cluster de um serviço de LLM e obter um ganho de vazão menor que o esperado é um cenário típico em grandes implantações online. O Jiqizhixin escreve que, nos esquemas para modelos MoE como o DeepSeek, o problema está na espera. Vários grupos de placas processam seus próprios requests em paralelo, mas concluem cada passo de decodificação juntos, por meio da comunicação entre grupos. O passo avança "em marcha": enquanto o grupo mais carregado não termina de calcular, os demais ficam parados. O trecho disponível da matéria não traz números concretos nem descreve o método em si. A seguir, a mecânica do problema, com base no que o texto diz.

Por que o passo dura tanto quanto o grupo mais lento

Em implantações de modelos MoE, o trabalho é distribuído entre grupos de placas. Cada grupo tem seu próprio pool de requests, e a carga varia de um grupo para outro: em alguns há conversas longas com contexto pesado, em outros, mensagens curtas. Mas a decodificação não se resume a cálculos independentes. Em cada passo, os grupos precisam trocar dados para percorrer as camadas do modelo, inclusive para distribuir os tokens entre os experts, que ficam em placas diferentes.

Essa troca funciona como uma barreira. O grupo que terminou rápido não pode seguir adiante e fica esperando. O tempo do passo é dado pelo máximo entre os grupos, não pela média. Se a dispersão da carga cresce junto com o número de grupos, a probabilidade de cair em um único nó muito sobrecarregado também cresce. Há mais placas, e a fatia do tempo que elas passam ociosas aumenta.

Onde o ganho se perde

O problema não é falta de poder de computação. Aceleradores caros ficam esperando os vizinhos, e a conta deles continua sendo cobrada por inteiro. No papel, a utilização segundo o agendamento é alta; na prática, parte do tempo vai para a espera.

A descrição leva a estas características da situação:

• Regime: atendimento online com grande número de requests simultâneos.
• Arquitetura: modelo MoE implantado em paralelo em vários grupos de placas.
• Gargalo: passo de decodificação síncrono com comunicação entre grupos.
• Sintoma: a vazão cresce mais devagar que o número de placas.
• Principal fator de perda: desequilíbrio de carga entre os grupos, que faz os rápidos esperarem os lentos.

Esse último ponto eu deduzo da lógica do esquema, não de uma citação. Mas a frase "enquanto o grupo mais ocupado não termina de calcular, os demais esperam" não tem outra explicação.

O que se sabe sobre a solução

O título promete uma "nova solução" para a espera na inferência. O trecho disponível trata apenas da formulação do problema. Não se sabe qual método os autores propõem, em quais modelos e hardware ele foi testado nem que ganho produziu. Qualquer número de aceleração sem o texto completo seria invenção, por isso não há nenhum aqui.

A classe geral de soluções para problemas desse tipo é conhecida: balanceamento de carga entre os grupos, distribuição inteligente dos requests entre eles e sobreposição de computação e comunicação. Qual delas foi usada neste trabalho, não dá para dizer.

Conclusão prática

Para uma equipe que sobe sua própria inferência de MoE, vale verificar o que exatamente atrapalha a escala. Primeiro, convém medir a dispersão do tempo de passo entre os grupos de placas, e não apenas a vazão total. Se o grupo mais lento fica bem atrás da média, ainda é cedo para comprar mais GPUs: parte delas ficará ociosa. Depois, é preciso observar como os requests são distribuídos entre os grupos, porque o tamanho do contexto e o número de requests ativos influenciam bastante o tempo do passo. Só então faz sentido calcular o custo por token com diferentes quantidades de placas.

O texto completo da pesquisa merece ser lido antes de levar o método para produção. Por ora, o que se sabe dele é apenas onde procurar as perdas.