Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAPI / Produto · Pronto p/ usoAWS Machine Learning Blog→ original

AWS lança NVIDIA Dynamo gerenciado para modelos que não cabem em um único servidor

Quando os pesos de um modelo não cabem na memória de nenhum servidor com GPU, o cluster de inferência precisa ser montado na mão. A AWS assumiu essa tarefa: o NVIDIA Dynamo agora roda no SageMaker HyperPod como engine gerenciado. Uma única cópia do modelo se distribui por vários nós, a análise do prompt e a geração de tokens acontecem em pools de GPU diferentes, e um nó que falha é substituído automaticamente. Para equipes que trabalham com grandes modelos de reasoning, isso elimina a parte mais trabalhosa da operação.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
AWS lança NVIDIA Dynamo gerenciado para modelos que não cabem em um único servidor
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
EnginesvLLM, SGLang e TensorRT-LLM; a API continua compatível com a da OpenAI
Dado-chave #2Manifestos DynamoGraphDeployment prontos são migrados quase sem alterações
Dado-chave #3A requisição vai para o worker que já tem o KV-cache pronto, o que reduz o tempo até o primeiro token

Os grandes modelos de reasoning esbarram em uma limitação física simples: os pesos não cabem na memória das GPUs de nenhum servidor. Somam-se a isso os prompts longos com contexto de retrieval, que atrasam a geração para os demais usuários, e o resultado é uma dor de cabeça conhecida das equipes de produção. Em novembro de 2026, a AWS anunciou o lançamento do NVIDIA Dynamo gerenciado no SageMaker HyperPod Inference. O anúncio faz parte de um panorama maior dos lançamentos do SageMaker Inference em 2026, mas é justamente este que resolve o problema de engenharia mais pesado: servir modelos maiores que uma máquina.

O que é o Dynamo e por que ele dava trabalho

O NVIDIA Dynamo é um framework open source de inferência. Ele faz três coisas: distribui uma única cópia do modelo por vários nós (sharding), separa o processamento do prompt (prefill) da geração de tokens (decode) e direciona a requisição para onde já está o KV-cache necessário.

Já era possível rodar o Dynamo no próprio Kubernetes, mas todo o entorno tinha de ser montado por conta própria. Era preciso posicionar todos os nós de uma réplica próximos uns dos outros. Era preciso configurar a rede Elastic Fabric Adapter (EFA) para que o prefill transferisse o KV-cache ao decode na velocidade do hardware. Era preciso manter as imagens dos servidores e lidar com o caso em que um único nó com falha derruba toda a réplica multinó.

Como o trabalho foi dividido agora

O Dynamo toma as decisões de serving: como fazer o sharding do modelo, como separar prefill e decode e para onde enviar cada requisição. O HyperPod cuida de tudo aquilo de que essas decisões dependem:

  • a capacidade de GPU e a rede EFA são provisionadas e conectadas automaticamente;
  • a saúde dos nós é monitorada, os defeituosos são substituídos e os workers multinó são reagendados automaticamente;
  • autoscaling, registro de endpoints, TLS e observabilidade já vêm prontos;
  • o add-on Inference Operator instala e atualiza o Dynamo, as imagens dos servidores e os schedulers Grove e KAI como um pacote único.

Na prática, funciona assim. Uma equipe com um modelo de reasoning de centenas de bilhões de parâmetros executa uma réplica em vários nós. Prefill e decode rodam em pools de GPU separados, e é possível escolher o tipo de instância mais adequado para cada um. Um prompt longo deixa de atrasar as respostas dos outros usuários. E, se um nó falha, o HyperPod o substitui e reinicia a réplica, sem acordar o engenheiro de plantão.

O roteamento com reconhecimento de KV envia a requisição ao worker que já mantém o cache necessário. Isso reduz o tempo até o primeiro token, principalmente em conversas e em RAG com prefixos repetidos.

Como começar e o que muda na compatibilidade

A AWS descreve três caminhos:

  • Se você já roda o Dynamo no seu próprio Kubernetes, pode migrar os manifestos DynamoGraphDeployment (DGD) existentes quase sem alterações.
  • Se você já usa o HyperPod Inference, basta atualizar o add-on e adicionar um pequeno bloco dynamoSpec ao InferenceEndpointConfig existente. O HyperPod o converte em DGD, e os endpoints atuais continuam funcionando.
  • Se você é novo em ambos, pode criar um cluster com o add-on e o Dynamo habilitados direto pelo console.

Os clientes acessam um endpoint padrão compatível com a API da OpenAI, então não é preciso alterar o código do lado do cliente. Há suporte aos engines vLLM, SGLang e TensorRT-LLM, e a disponibilidade coincide com as regiões em que o HyperPod está presente.

Limitações e conclusão

O anúncio não traz números de desempenho: a AWS não informa nem ganho de velocidade nem economia. O efeito dos pools separados e do roteamento por KV terá de ser medido com o seu próprio tráfego. Além disso, esse é um caminho exclusivo do HyperPod, com seus clusters e sua abordagem baseada em Kubernetes. Para modelos simples, a AWS continua recomendando os endpoints gerenciados do SageMaker.

A conclusão prática é direta. Se você pretendia implantar o Dynamo ou um vLLM multinó por conta própria, primeiro calcule quanto tempo de engenharia será consumido com o posicionamento dos nós, a rede e a recuperação após falhas. É justamente essa parte que a AWS agora vende como serviço. Valide em um piloto o tempo até o primeiro token e o custo com a proporção real de requisições longas e curtas da sua carga. Para equipes que planejam migrar para um grande modelo de reasoning, esse é o caminho mais rápido para não acabar virando operador de cluster de GPU.

História

Perguntas frequentes sobre a notícia

O que é o Dynamo e por que ele dava trabalho?

O NVIDIA Dynamo é um framework open source de inferência. Ele faz três coisas: distribui uma única cópia do modelo por vários nós (sharding), separa o processamento do prompt (prefill) da geração de tokens (decode) e direciona a requisição para onde já está o KV-cache necessário. Já era possível rodar o Dynamo no próprio Kubernetes, mas todo o entorno tinha de ser montado por conta própria. Era preciso posicionar todos os nós de uma réplica próximos uns dos outros.

Como o trabalho foi dividido agora?

O Dynamo toma as decisões de serving: como fazer o sharding do modelo, como separar prefill e decode e para onde enviar cada requisição. O HyperPod cuida de tudo aquilo de que essas decisões dependem: a capacidade de GPU e a rede EFA são provisionadas e conectadas automaticamente; a saúde dos nós é monitorada, os defeituosos são substituídos e os workers multinó são reagendados automaticamente; autoscaling, registro de endpoints, TLS e observabilidade já vêm prontos; o add-on Inference Operator…

Como começar e o que muda na compatibilidade?

A AWS descreve três caminhos: Se você já roda o Dynamo no seu próprio Kubernetes, pode migrar os manifestos DynamoGraphDeployment (DGD) existentes quase sem alterações. Se você já usa o HyperPod Inference, basta atualizar o add-on e adicionar um pequeno bloco dynamoSpec ao InferenceEndpointConfig existente. O HyperPod o converte em DGD, e os endpoints atuais continuam funcionando. Se você é novo em ambos, pode criar um cluster com o add-on e o Dynamo habilitados direto pelo console.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…