AWS lança NVIDIA Dynamo gerenciado para modelos que não cabem em um único servidor
Quando os pesos de um modelo não cabem na memória de nenhum servidor com GPU, o cluster de inferência precisa ser montado na mão. A AWS assumiu essa tarefa: o NVIDIA Dynamo agora roda no SageMaker HyperPod como engine gerenciado. Uma única cópia do modelo se distribui por vários nós, a análise do prompt e a geração de tokens acontecem em pools de GPU diferentes, e um nó que falha é substituído automaticamente. Para equipes que trabalham com grandes modelos de reasoning, isso elimina a parte mais trabalhosa da operação.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Os grandes modelos de reasoning esbarram em uma limitação física simples: os pesos não cabem na memória das GPUs de nenhum servidor. Somam-se a isso os prompts longos com contexto de retrieval, que atrasam a geração para os demais usuários, e o resultado é uma dor de cabeça conhecida das equipes de produção. Em novembro de 2026, a AWS anunciou o lançamento do NVIDIA Dynamo gerenciado no SageMaker HyperPod Inference. O anúncio faz parte de um panorama maior dos lançamentos do SageMaker Inference em 2026, mas é justamente este que resolve o problema de engenharia mais pesado: servir modelos maiores que uma máquina.
O que é o Dynamo e por que ele dava trabalho
O NVIDIA Dynamo é um framework open source de inferência. Ele faz três coisas: distribui uma única cópia do modelo por vários nós (sharding), separa o processamento do prompt (prefill) da geração de tokens (decode) e direciona a requisição para onde já está o KV-cache necessário.
Já era possível rodar o Dynamo no próprio Kubernetes, mas todo o entorno tinha de ser montado por conta própria. Era preciso posicionar todos os nós de uma réplica próximos uns dos outros. Era preciso configurar a rede Elastic Fabric Adapter (EFA) para que o prefill transferisse o KV-cache ao decode na velocidade do hardware. Era preciso manter as imagens dos servidores e lidar com o caso em que um único nó com falha derruba toda a réplica multinó.
Como o trabalho foi dividido agora
O Dynamo toma as decisões de serving: como fazer o sharding do modelo, como separar prefill e decode e para onde enviar cada requisição. O HyperPod cuida de tudo aquilo de que essas decisões dependem:
- a capacidade de GPU e a rede EFA são provisionadas e conectadas automaticamente;
- a saúde dos nós é monitorada, os defeituosos são substituídos e os workers multinó são reagendados automaticamente;
- autoscaling, registro de endpoints, TLS e observabilidade já vêm prontos;
- o add-on Inference Operator instala e atualiza o Dynamo, as imagens dos servidores e os schedulers Grove e KAI como um pacote único.
Na prática, funciona assim. Uma equipe com um modelo de reasoning de centenas de bilhões de parâmetros executa uma réplica em vários nós. Prefill e decode rodam em pools de GPU separados, e é possível escolher o tipo de instância mais adequado para cada um. Um prompt longo deixa de atrasar as respostas dos outros usuários. E, se um nó falha, o HyperPod o substitui e reinicia a réplica, sem acordar o engenheiro de plantão.
O roteamento com reconhecimento de KV envia a requisição ao worker que já mantém o cache necessário. Isso reduz o tempo até o primeiro token, principalmente em conversas e em RAG com prefixos repetidos.
Como começar e o que muda na compatibilidade
A AWS descreve três caminhos:
- Se você já roda o Dynamo no seu próprio Kubernetes, pode migrar os manifestos DynamoGraphDeployment (DGD) existentes quase sem alterações.
- Se você já usa o HyperPod Inference, basta atualizar o add-on e adicionar um pequeno bloco dynamoSpec ao InferenceEndpointConfig existente. O HyperPod o converte em DGD, e os endpoints atuais continuam funcionando.
- Se você é novo em ambos, pode criar um cluster com o add-on e o Dynamo habilitados direto pelo console.
Os clientes acessam um endpoint padrão compatível com a API da OpenAI, então não é preciso alterar o código do lado do cliente. Há suporte aos engines vLLM, SGLang e TensorRT-LLM, e a disponibilidade coincide com as regiões em que o HyperPod está presente.
Limitações e conclusão
O anúncio não traz números de desempenho: a AWS não informa nem ganho de velocidade nem economia. O efeito dos pools separados e do roteamento por KV terá de ser medido com o seu próprio tráfego. Além disso, esse é um caminho exclusivo do HyperPod, com seus clusters e sua abordagem baseada em Kubernetes. Para modelos simples, a AWS continua recomendando os endpoints gerenciados do SageMaker.
A conclusão prática é direta. Se você pretendia implantar o Dynamo ou um vLLM multinó por conta própria, primeiro calcule quanto tempo de engenharia será consumido com o posicionamento dos nós, a rede e a recuperação após falhas. É justamente essa parte que a AWS agora vende como serviço. Valide em um piloto o tempo até o primeiro token e o custo com a proporção real de requisições longas e curtas da sua carga. Para equipes que planejam migrar para um grande modelo de reasoning, esse é o caminho mais rápido para não acabar virando operador de cluster de GPU.
- 20 de nov. de 2026Anthropic levanta US$ 104,8 bilhões no IPO, mas compromissos com infraestrutura chegam a US$ 1 trilhão
- 20 de nov. de 2026Kimi Code CLI agora funciona com Amazon Bedrock sem uma chave de API separada
- 20 de nov. de 2026Torneio de agentes na Cisco: 1200 engenheiros, e venceu quem escreveu 1220 tokens em vez de 1430
- 20 de nov. de 2026Amazon SageMaker passa a detectar GPUs ociosas e aumento de latência em endpoints de LLM por conta própria
Perguntas frequentes sobre a notícia
O que é o Dynamo e por que ele dava trabalho?
O NVIDIA Dynamo é um framework open source de inferência. Ele faz três coisas: distribui uma única cópia do modelo por vários nós (sharding), separa o processamento do prompt (prefill) da geração de tokens (decode) e direciona a requisição para onde já está o KV-cache necessário. Já era possível rodar o Dynamo no próprio Kubernetes, mas todo o entorno tinha de ser montado por conta própria. Era preciso posicionar todos os nós de uma réplica próximos uns dos outros.
Como o trabalho foi dividido agora?
O Dynamo toma as decisões de serving: como fazer o sharding do modelo, como separar prefill e decode e para onde enviar cada requisição. O HyperPod cuida de tudo aquilo de que essas decisões dependem: a capacidade de GPU e a rede EFA são provisionadas e conectadas automaticamente; a saúde dos nós é monitorada, os defeituosos são substituídos e os workers multinó são reagendados automaticamente; autoscaling, registro de endpoints, TLS e observabilidade já vêm prontos; o add-on Inference Operator…
Como começar e o que muda na compatibilidade?
A AWS descreve três caminhos: Se você já roda o Dynamo no seu próprio Kubernetes, pode migrar os manifestos DynamoGraphDeployment (DGD) existentes quase sem alterações. Se você já usa o HyperPod Inference, basta atualizar o add-on e adicionar um pequeno bloco dynamoSpec ao InferenceEndpointConfig existente. O HyperPod o converte em DGD, e os endpoints atuais continuam funcionando. Se você é novo em ambos, pode criar um cluster com o add-on e o Dynamo habilitados direto pelo console.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.