AWS e NVIDIA mostram como dividir as requisições de um agente de programação entre Claude Opus 5.5 e Nemotron
Um agente de programação como o Claude Code faz de uma a dezenas de requisições para concluir uma única tarefa, por isso o preço do token não revela o custo real do trabalho. A AWS publicou um template em que a biblioteca NVIDIA Switchyard, dentro do gateway LiteLLM, escolhe a cada passo entre o Claude Opus 5.5, mais potente, e o Nemotron 3 Super 120B, mais barato. O benefício é calculado como o custo de todas as execuções dividido pelo número de execuções em que os testes passaram, o que mostra se o modelo barato compensa.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine que você pediu a um agente de programação para corrigir um bug. Ele lê os arquivos, edita o código, roda os testes, corrige de novo, e assim segue em ciclos até tudo funcionar. Uma tarefa dessas pode exigir algumas chamadas ao modelo ou algumas dezenas. Você paga pela tarefa inteira, não por uma chamada isolada, por isso o preço por token diz quase nada sobre o gasto real. A AWS publicou no seu blog um exemplo de como dividir as requisições do agente entre dois modelos no Amazon Bedrock: o potente Claude Opus 5.5 e o NVIDIA Nemotron 3 Super 120B, mais barato. O texto também mostra como verificar se esse arranjo compensa.
Por que medir tarefas resolvidas, e não tokens
O custo final depende de três fatores: quantos turnos o modelo precisa para concluir a tarefa, quanto do histórico é reenviado a cada turno e com que frequência a tarefa precisa ser reiniciada ou simplesmente não termina. Você paga por cada tentativa, inclusive as que falham. Os autores propõem uma métrica simples: o custo de todas as execuções dividido pelo número de execuções em que os testes passaram. Um modelo barato com baixa taxa de sucesso pode facilmente sair mais caro do que um modelo forte que acerta na primeira tentativa.
Como funciona o roteamento
O NVIDIA NeMo Switchyard é uma biblioteca de código aberto que decide qual modelo processa cada requisição do agente. Integrada ao LiteLLM, um gateway de código aberto para LLMs, ela oferece duas estratégias. A Stage observa os resultados de ferramentas mais recentes no histórico da conversa e escolhe entre dois candidatos: um modelo capaz ou um modelo eficiente e mais barato. A Random distribui o tráfego segundo pesos definidos, o que facilita comparações do tipo A/B: no exemplo, o perfil divide o tráfego em 50 por cento para cada lado.
No template, o modelo "capaz" é o Claude Opus 5.5 e o "eficiente" é o Nemotron 3 Super 120B. A ordem no arquivo de configuração importa: o primeiro é tratado como o forte e o segundo como o barato.
A opção efficient_first faz com que, diante de sinais pouco claros, seja escolhido o modelo barato. Uma requisição nova ainda não tem resultados de ferramentas, então vai primeiro para o Nemotron. A janela de análise são os três últimos resultados de ferramentas.
Nenhum modelo juiz é chamado para fazer a escolha, por isso o agente precisa enviar o histórico completo da conversa; sem ele, a Stage não tem o que ler. As estratégias que dependem de chamadas intermediárias a um modelo classificador, como Task e Composite, não são suportadas por essa integração.
A configuração também descreve dois grupos com um único modelo: só Claude e só Nemotron. Eles servem como controle, para comparar o roteamento com cada modelo isoladamente dentro da mesma implantação.
O que há no template e quais são as ressalvas
O template em AWS CDK sobe o LiteLLM com o plugin Switchyard embutido, em um único contêiner no ECS Fargate, em sub-redes privadas. As requisições chegam por um balanceador HTTPS com certificado do ACM, AWS WAF e restrição a uma faixa de IP sua. O balanceador só deixa passar três caminhos: /v1/chat/completions, /v1/models e /health/liveliness.
O painel administrativo e a documentação do LiteLLM não ficam acessíveis de fora. O gateway acessa o Bedrock pela Converse API e por um endpoint de interface na VPC, de modo que o tráfego permanece dentro da rede da AWS. A chave do gateway é gerada pelo Secrets Manager e os logs ficam no CloudWatch por 30 dias.
Qual modelo respondeu aparece no cabeçalho x-litellm-model-name, enquanto o campo model no corpo da resposta continua sendo switchyard.
Agora, as limitações. A NVIDIA chama o switchyard-server 0.3.
0 de componente demonstrativo para avaliação, a integração com o LiteLLM é experimental e a configuração pode mudar entre versões. O próprio código da AWS é marcado como exemplo para contas que não são de produção. Não coloque chaves da AWS no `litellm.
yaml: o arquivo inteiro é copiado para a definição da tarefa e para o template do CloudFormation, em texto aberto. O prefixo global.` do Claude indica um perfil de inferência global entre regiões, e as requisições podem ser processadas em outras regiões.
Se o local de processamento importa para você, use um perfil geográfico ou um modelo na sua própria região. O par de modelos foi testado na US East (N. Virginia); para outras regiões, a disponibilidade precisa ser confirmada separadamente.
Conclusão prática
O exemplo é útil para equipes que já usam agentes de programação e querem testar a hipótese de que parte dos passos pode ir para um modelo mais barato sem perda na taxa de tarefas resolvidas. O pacote inclui executores de benchmark que calculam o custo por tarefa resolvida tanto para o grupo com roteamento quanto para os controles com um único modelo. No trecho do artigo que foi repassado não há números finais de economia, então o resultado precisará ser medido em suas próprias tarefas.
- 21 de nov. de 2026Anthropic cortou em 20% o preço do Claude Fable 5.2, e no teste de código ele quase empata com o Opus 5.5
- 21 de nov. de 2026Califórnia processa OpenAI: seus agentes de IA saíram do controle ao menos 80 vezes
- 21 de nov. de 2026Dreamteam capta US$ 53 milhões para um CRM que se preenche sozinho a partir de e-mails e ligações
- 21 de nov. de 2026Claude Opus 5.5 completa o horror Dimension 9 a partir de 15 salas criadas pelo autor
Perguntas frequentes sobre a notícia
Por que medir tarefas resolvidas, e não tokens?
O custo final depende de três fatores: quantos turnos o modelo precisa para concluir a tarefa, quanto do histórico é reenviado a cada turno e com que frequência a tarefa precisa ser reiniciada ou simplesmente não termina. Você paga por cada tentativa, inclusive as que falham. Os autores propõem uma métrica simples: o custo de todas as execuções dividido pelo número de execuções em que os testes passaram.
Como funciona o roteamento?
O NVIDIA NeMo Switchyard é uma biblioteca de código aberto que decide qual modelo processa cada requisição do agente. Integrada ao LiteLLM, um gateway de código aberto para LLMs, ela oferece duas estratégias. A Stage observa os resultados de ferramentas mais recentes no histórico da conversa e escolhe entre dois candidatos: um modelo capaz ou um modelo eficiente e mais barato.
O que há no template e quais são as ressalvas?
O template em AWS CDK sobe o LiteLLM com o plugin Switchyard embutido, em um único contêiner no ECS Fargate, em sub-redes privadas. As requisições chegam por um balanceador HTTPS com certificado do ACM, AWS WAF e restrição a uma faixa de IP sua. O balanceador só deixa passar três caminhos: /v1/chat/completions, /v1/models e /health/liveliness. O painel administrativo e a documentação do LiteLLM não ficam acessíveis de fora.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.