AWS integra o Dynamo ao HyperPod: Qwen3-235B entrega 207 tokens/s por GPU, em vez de 101
Um modelo grande não cabe em um único servidor, e o prompt longo de um cliente atrasa as respostas dos demais. A AWS adicionou ao SageMaker HyperPod suporte ao NVIDIA Dynamo, que entrega a leitura da requisição e a geração da resposta a grupos diferentes de GPUs. Com o Qwen3-235B e 16 GPUs H200, o resultado foi de 207 tokens por segundo por GPU, em vez de 101, ou seja, 2,05 vezes mais. Se você mantém sua própria LLM na AWS, vale testar o modo desagregado com tráfego real.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine um chatbot baseado em um grande modelo de linguagem. Um usuário cola um documento de cem páginas na requisição e, enquanto as GPUs o "leem", os demais clientes ficam esperando as próximas palavras de suas respostas. Há um segundo problema: os pesos do modelo simplesmente não cabem na memória de um único servidor.
A Amazon adicionou ao SageMaker HyperPod Inference (plataforma gerenciada pela AWS para executar modelos em clusters de GPUs) suporte ao NVIDIA Dynamo, um framework open source de inferência distribuída. Ele divide a leitura da requisição e a geração da resposta entre grupos diferentes de GPUs. Em um teste com o Qwen3-235B, isso rendeu 207 tokens de saída por segundo por GPU, contra 101 no esquema convencional, ou seja, 2,05 vezes mais com as mesmas restrições de latência.
Para dar a dimensão: os pesos em FP8 do GLM-5.3, que a AWS usa como exemplo, não cabem nos 640 GB de memória de uma única instância ml.p5.48xlarge. E ainda é preciso reservar espaço para o KV-cache (a memória do modelo sobre o texto que ele já leu) e para os dados de serviço do runtime.
O que exatamente o Dynamo faz
Primeiro: a divisão do trabalho em duas fases. No prefill, o modelo "lê" o prompt; no decode, gera os tokens da resposta um a um. As fases sobrecarregam o hardware de maneiras diferentes e, quando compartilham as mesmas GPUs, um prompt longo atrasa a geração para os outros usuários. O Dynamo aloca um pool de workers para cada fase, e cada pool pode ser escalado de forma independente. O KV-cache passa de um pool para o outro pela rede de alta velocidade EFA.
Segundo: execução em vários nós. Um worker pode ocupar várias instâncias quando o modelo não cabe em uma só. Isso funciona tanto no modo desagregado quanto no convencional (aggregated), em que as duas fases rodam no mesmo worker.
Terceiro: roteamento com reconhecimento de KV-cache (KV-aware). O roteador identifica qual worker já tem em cache o trecho inicial comum de um prompt e leva em conta a carga de cada um. Por exemplo, se todas as requisições compartilham o mesmo system prompt longo, não é preciso recalculá-lo a cada vez. O tempo até o primeiro token cai, e os workers sobrecarregados não recebem trabalho extra.
O HyperPod acrescenta o que normalmente é preciso montar manualmente: monitoramento da saúde dos nós, das GPUs e do EFA, substituição de nós com falha e posicionamento coordenado dos pods. Para workers multinó, o agendador Kubernetes AI (KAI) com gang scheduling sobe todos os pods necessários ao mesmo tempo, para que um worker não fique travado com apenas parte dos pods em execução.
Duas formas de implantar
Quem já trabalha com o Dynamo pode levar o próprio DynamoGraphDeployment (DGD). A documentação e as receitas continuam as mesmas, mas armazenamento, rede, posicionamento dos pods e autoescalonamento ficam por sua conta. Quem usa o HyperPod Inference só precisa de um InferenceEndpointConfig (IEC) com a seção dynamoSpec. O operador busca os pesos no S3 ou no FSx, sobe o endpoint com TLS e conecta o autoescalonamento via KEDA.
A configuração é curta. Para duas instâncias (16 GPUs), basta informar nodesPerReplica: 2 e tensorParallelism: 16, e routingMode: kv-aware ativa o roteamento inteligente. No modo desagregado, o bloco aggregation é substituído por prefill e decode, cada um com seu número de réplicas. Exemplo da AWS: uma réplica de prefill e duas de decode, com duas instâncias cada, num total de seis instâncias. As requisições ao endpoint passam pelo SageMaker Runtime, em formato compatível com a OpenAI.
O que as medições mostraram
Primeiro teste: Qwen3-235B-A22B-FP8 no TensorRT-LLM, duas instâncias p5en.48xlarge (16 GPUs H200), com requisições de 4 000 tokens de entrada e 200 de saída. Só entraram na conta as configurações em que o P90 do tempo até o primeiro token ficou abaixo de um segundo e a velocidade mediana de geração foi de pelo menos 50 tokens por segundo por usuário. O melhor resultado desagregado foi de 207 tokens por segundo por GPU, com concorrência de 80; o melhor resultado convencional foi de 101, com concorrência de 32.
O segundo teste verificou se a comunicação entre nós impõe alguma penalidade. O Qwen3.5-397B-A17B-FP8 no vLLM, com TP4 × PP2, foi executado em uma instância com oito GPUs e em duas instâncias com quatro GPUs cada. Em uma carga agêntica com muita repetição de prefixos e concorrência de 32, o esquema de dois nós entregou 126,4 tokens por segundo por GPU, ou seja, 99,1% do resultado de um único nó. Esse modelo cabe em uma única instância, então, na prática, não faz sentido dividi-lo. O teste serviu como checagem de controle: cruzar a fronteira entre nós quase não tem custo.
O que fazer com isso
Os números foram obtidos pela própria AWS e pela NVIDIA, em dois modelos e perfis de tráfego específicos, por isso não convém transpor o 2,05× para o seu sistema. Faz mais sentido testar o modo desagregado em cenários com prompts longos e limites rígidos de latência.
As recomendações dos autores são práticas. Pegue a receita do Dynamo para o seu modelo, engine e GPU. Antes das medições, confirme que o KV-cache entre os workers realmente trafega pelo EFA. Rode o AIPerf com tráfego real e diferentes níveis de concorrência, e mantenha apenas os pontos que respeitam os seus SLAs. Comece o ajuste pela topologia e pela distribuição dos workers, e só depois passe aos parâmetros da engine, alterando uma variável por vez.
- 18 de nov. de 2026Novo modelo Jev responde em 150 ms, contra 1,89 s do GPT-6 Astra
- 18 de nov. de 2026AWS mostra como liberar agentes do Bedrock para APIs privadas por meio de um firewall central
- 18 de nov. de 2026Airbnb troca o modelo dos agentes de código, e o gasto dos usuários mais intensivos cai 7 vezes
- 18 de nov. de 2026Duco reduz em 90% o contexto de agentes e acelera 10 vezes a migração de conciliações bancárias
Perguntas frequentes sobre a notícia
O que exatamente o Dynamo faz?
Primeiro: a divisão do trabalho em duas fases. No prefill, o modelo "lê" o prompt; no decode, gera os tokens da resposta um a um. As fases sobrecarregam o hardware de maneiras diferentes e, quando compartilham as mesmas GPUs, um prompt longo atrasa a geração para os outros usuários. O Dynamo aloca um pool de workers para cada fase, e cada pool pode ser escalado de forma independente. O KV-cache passa de um pool para o outro pela rede de alta velocidade EFA. Segundo: execução em vários nós.
O que se sabe sobre Duas formas de implantar?
Quem já trabalha com o Dynamo pode levar o próprio DynamoGraphDeployment (DGD). A documentação e as receitas continuam as mesmas, mas armazenamento, rede, posicionamento dos pods e autoescalonamento ficam por sua conta. Quem usa o HyperPod Inference só precisa de um InferenceEndpointConfig (IEC) com a seção dynamoSpec. O operador busca os pesos no S3 ou no FSx, sobe o endpoint com TLS e conecta o autoescalonamento via KEDA. A configuração é curta.
O que as medições mostraram?
Primeiro teste: Qwen3-235B-A22B-FP8 no TensorRT-LLM, duas instâncias p5en.48xlarge (16 GPUs H200), com requisições de 4 000 tokens de entrada e 200 de saída. Só entraram na conta as configurações em que o P90 do tempo até o primeiro token ficou abaixo de um segundo e a velocidade mediana de geração foi de pelo menos 50 tokens por segundo por usuário. O melhor resultado desagregado foi de 207 tokens por segundo por GPU, com concorrência de 80; o melhor resultado convencional foi de 101, com concorrência de 32.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.