Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
InfraestruturaAnálise · No radarAWS Machine Learning Blog→ original

AWS integra o Dynamo ao HyperPod: Qwen3-235B entrega 207 tokens/s por GPU, em vez de 101

Um modelo grande não cabe em um único servidor, e o prompt longo de um cliente atrasa as respostas dos demais. A AWS adicionou ao SageMaker HyperPod suporte ao NVIDIA Dynamo, que entrega a leitura da requisição e a geração da resposta a grupos diferentes de GPUs. Com o Qwen3-235B e 16 GPUs H200, o resultado foi de 207 tokens por segundo por GPU, em vez de 101, ou seja, 2,05 vezes mais. Se você mantém sua própria LLM na AWS, vale testar o modo desagregado com tráfego real.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
AWS integra o Dynamo ao HyperPod: Qwen3-235B entrega 207 tokens/s por GPU, em vez de 101
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dois caminhos de implantaçãoum DynamoGraphDeployment próprio ou o IEC com dynamoSpec
Dado-chave #2O Qwen3.5-397B em dois nós manteve 99,1% da velocidade de um único nó
Engines à escolhavLLM (padrão), SGLang, TensorRT-LLM

Imagine um chatbot baseado em um grande modelo de linguagem. Um usuário cola um documento de cem páginas na requisição e, enquanto as GPUs o "leem", os demais clientes ficam esperando as próximas palavras de suas respostas. Há um segundo problema: os pesos do modelo simplesmente não cabem na memória de um único servidor.

A Amazon adicionou ao SageMaker HyperPod Inference (plataforma gerenciada pela AWS para executar modelos em clusters de GPUs) suporte ao NVIDIA Dynamo, um framework open source de inferência distribuída. Ele divide a leitura da requisição e a geração da resposta entre grupos diferentes de GPUs. Em um teste com o Qwen3-235B, isso rendeu 207 tokens de saída por segundo por GPU, contra 101 no esquema convencional, ou seja, 2,05 vezes mais com as mesmas restrições de latência.

Para dar a dimensão: os pesos em FP8 do GLM-5.3, que a AWS usa como exemplo, não cabem nos 640 GB de memória de uma única instância ml.p5.48xlarge. E ainda é preciso reservar espaço para o KV-cache (a memória do modelo sobre o texto que ele já leu) e para os dados de serviço do runtime.

O que exatamente o Dynamo faz

Primeiro: a divisão do trabalho em duas fases. No prefill, o modelo "lê" o prompt; no decode, gera os tokens da resposta um a um. As fases sobrecarregam o hardware de maneiras diferentes e, quando compartilham as mesmas GPUs, um prompt longo atrasa a geração para os outros usuários. O Dynamo aloca um pool de workers para cada fase, e cada pool pode ser escalado de forma independente. O KV-cache passa de um pool para o outro pela rede de alta velocidade EFA.

Segundo: execução em vários nós. Um worker pode ocupar várias instâncias quando o modelo não cabe em uma só. Isso funciona tanto no modo desagregado quanto no convencional (aggregated), em que as duas fases rodam no mesmo worker.

Terceiro: roteamento com reconhecimento de KV-cache (KV-aware). O roteador identifica qual worker já tem em cache o trecho inicial comum de um prompt e leva em conta a carga de cada um. Por exemplo, se todas as requisições compartilham o mesmo system prompt longo, não é preciso recalculá-lo a cada vez. O tempo até o primeiro token cai, e os workers sobrecarregados não recebem trabalho extra.

O HyperPod acrescenta o que normalmente é preciso montar manualmente: monitoramento da saúde dos nós, das GPUs e do EFA, substituição de nós com falha e posicionamento coordenado dos pods. Para workers multinó, o agendador Kubernetes AI (KAI) com gang scheduling sobe todos os pods necessários ao mesmo tempo, para que um worker não fique travado com apenas parte dos pods em execução.

Duas formas de implantar

Quem já trabalha com o Dynamo pode levar o próprio DynamoGraphDeployment (DGD). A documentação e as receitas continuam as mesmas, mas armazenamento, rede, posicionamento dos pods e autoescalonamento ficam por sua conta. Quem usa o HyperPod Inference só precisa de um InferenceEndpointConfig (IEC) com a seção dynamoSpec. O operador busca os pesos no S3 ou no FSx, sobe o endpoint com TLS e conecta o autoescalonamento via KEDA.

A configuração é curta. Para duas instâncias (16 GPUs), basta informar nodesPerReplica: 2 e tensorParallelism: 16, e routingMode: kv-aware ativa o roteamento inteligente. No modo desagregado, o bloco aggregation é substituído por prefill e decode, cada um com seu número de réplicas. Exemplo da AWS: uma réplica de prefill e duas de decode, com duas instâncias cada, num total de seis instâncias. As requisições ao endpoint passam pelo SageMaker Runtime, em formato compatível com a OpenAI.

O que as medições mostraram

Primeiro teste: Qwen3-235B-A22B-FP8 no TensorRT-LLM, duas instâncias p5en.48xlarge (16 GPUs H200), com requisições de 4 000 tokens de entrada e 200 de saída. Só entraram na conta as configurações em que o P90 do tempo até o primeiro token ficou abaixo de um segundo e a velocidade mediana de geração foi de pelo menos 50 tokens por segundo por usuário. O melhor resultado desagregado foi de 207 tokens por segundo por GPU, com concorrência de 80; o melhor resultado convencional foi de 101, com concorrência de 32.

O segundo teste verificou se a comunicação entre nós impõe alguma penalidade. O Qwen3.5-397B-A17B-FP8 no vLLM, com TP4 × PP2, foi executado em uma instância com oito GPUs e em duas instâncias com quatro GPUs cada. Em uma carga agêntica com muita repetição de prefixos e concorrência de 32, o esquema de dois nós entregou 126,4 tokens por segundo por GPU, ou seja, 99,1% do resultado de um único nó. Esse modelo cabe em uma única instância, então, na prática, não faz sentido dividi-lo. O teste serviu como checagem de controle: cruzar a fronteira entre nós quase não tem custo.

O que fazer com isso

Os números foram obtidos pela própria AWS e pela NVIDIA, em dois modelos e perfis de tráfego específicos, por isso não convém transpor o 2,05× para o seu sistema. Faz mais sentido testar o modo desagregado em cenários com prompts longos e limites rígidos de latência.

As recomendações dos autores são práticas. Pegue a receita do Dynamo para o seu modelo, engine e GPU. Antes das medições, confirme que o KV-cache entre os workers realmente trafega pelo EFA. Rode o AIPerf com tráfego real e diferentes níveis de concorrência, e mantenha apenas os pontos que respeitam os seus SLAs. Comece o ajuste pela topologia e pela distribuição dos workers, e só depois passe aos parâmetros da engine, alterando uma variável por vez.

História

Perguntas frequentes sobre a notícia

O que exatamente o Dynamo faz?

Primeiro: a divisão do trabalho em duas fases. No prefill, o modelo "lê" o prompt; no decode, gera os tokens da resposta um a um. As fases sobrecarregam o hardware de maneiras diferentes e, quando compartilham as mesmas GPUs, um prompt longo atrasa a geração para os outros usuários. O Dynamo aloca um pool de workers para cada fase, e cada pool pode ser escalado de forma independente. O KV-cache passa de um pool para o outro pela rede de alta velocidade EFA. Segundo: execução em vários nós.

O que se sabe sobre Duas formas de implantar?

Quem já trabalha com o Dynamo pode levar o próprio DynamoGraphDeployment (DGD). A documentação e as receitas continuam as mesmas, mas armazenamento, rede, posicionamento dos pods e autoescalonamento ficam por sua conta. Quem usa o HyperPod Inference só precisa de um InferenceEndpointConfig (IEC) com a seção dynamoSpec. O operador busca os pesos no S3 ou no FSx, sobe o endpoint com TLS e conecta o autoescalonamento via KEDA. A configuração é curta.

O que as medições mostraram?

Primeiro teste: Qwen3-235B-A22B-FP8 no TensorRT-LLM, duas instâncias p5en.48xlarge (16 GPUs H200), com requisições de 4 000 tokens de entrada e 200 de saída. Só entraram na conta as configurações em que o P90 do tempo até o primeiro token ficou abaixo de um segundo e a velocidade mediana de geração foi de pelo menos 50 tokens por segundo por usuário. O melhor resultado desagregado foi de 207 tokens por segundo por GPU, com concorrência de 80; o melhor resultado convencional foi de 101, com concorrência de 32.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…