AWS y NVIDIA muestran cómo repartir las peticiones de un agente de programación entre Claude Opus 5.5 y Nemotron
Un agente de programación como Claude Code hace entre unas pocas y decenas de peticiones por tarea, así que el precio por token no refleja el coste real de una tarea. AWS publicó una plantilla en la que la biblioteca Switchyard de NVIDIA, integrada en la pasarela LiteLLM, decide en cada paso si usar Claude Opus 5.5, más potente, o Nemotron 3 Super 120B, más barato. El ahorro se calcula como el coste de todas las ejecuciones dividido entre el número de ejecuciones con las pruebas superadas, lo que permite ver si el modelo barato compensa.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagine que le pide a un agente de programación que corrija un error. Lee archivos, modifica el código, ejecuta las pruebas, vuelve a modificarlo y así sucesivamente hasta que todo funciona. Para una tarea de este tipo puede hacer falta una docena de llamadas al modelo, o varias decenas. Usted paga por la tarea completa, no por una sola llamada, así que el precio por token dice muy poco sobre el gasto real. AWS publicó en su blog un ejemplo de cómo repartir las peticiones del agente entre dos modelos de Amazon Bedrock: el potente Claude Opus 5.5 y el más barato NVIDIA Nemotron 3 Super 120B. También explica cómo comprobar si este esquema compensa.
Por qué conviene contar tareas resueltas y no tokens
El coste final depende de tres factores: cuántos turnos del modelo necesita una tarea, cuánto historial se reenvía en cada turno y con qué frecuencia hay que relanzar la tarea o esta ni siquiera termina. Se paga por cada intento, incluidos los fallidos. Los autores proponen una métrica sencilla: el coste de todas las ejecuciones dividido entre el número de ejecuciones en las que las pruebas pasan. Un modelo barato con un porcentaje de éxito bajo puede acabar saliendo más caro que uno potente que acierta a la primera.
Cómo funciona el enrutamiento
NVIDIA NeMo Switchyard es una biblioteca de código abierto que decide qué modelo procesa cada petición del agente. Combinada con LiteLLM, una pasarela abierta para LLM, ofrece dos estrategias. Stage analiza los últimos resultados de herramientas en el historial de la conversación y elige entre dos candidatos: un modelo capaz o uno eficiente y más barato. Random reparte el tráfico según pesos definidos, lo que resulta cómodo para comparaciones A/B: en el ejemplo, el perfil reparte el tráfico al 50 %.
En la plantilla, el modelo «capaz» es Claude Opus 5.5 y el «eficiente», Nemotron 3 Super 120B. El orden en la configuración importa: el primero se considera el potente y el segundo el barato.
El ajuste efficient_first significa que, si las señales no son claras, se elige el modelo barato. Una petición nueva todavía no tiene resultados de herramientas, así que lo primero es enviarla a Nemotron. La ventana de análisis son los tres últimos resultados.
No se invoca ningún modelo juez para decidir, por lo que el agente debe enviar el historial completo de la conversación; de lo contrario, Stage no tendría nada que analizar. Las estrategias que necesitan llamadas intermedias a un modelo clasificador, como Task y Composite, no son compatibles con esta integración.
La configuración también describe dos grupos con un solo modelo: solo Claude y solo Nemotron. Sirven como controles para comparar, en el mismo despliegue, el enrutamiento frente a cada modelo por separado.
Qué incluye la plantilla y qué advertencias hay
La plantilla en AWS CDK levanta LiteLLM con el plugin integrado de Switchyard en un solo contenedor sobre ECS Fargate, en subredes privadas. Las peticiones llegan a través de un balanceador HTTPS con certificado de ACM, AWS WAF y una restricción a su rango de IP. El balanceador solo deja pasar tres rutas: /v1/chat/completions, /v1/models y /health/liveliness.
El panel de administración y la documentación de LiteLLM no son accesibles desde fuera. Para conectarse a Bedrock, la pasarela usa la Converse API y un endpoint de VPC de interfaz, de modo que el tráfico se mantiene dentro de la red de AWS. La clave de la pasarela la genera Secrets Manager y los registros se guardan en CloudWatch durante 30 días.
El modelo que respondió se ve en la cabecera x-litellm-model-name, mientras que el campo model del cuerpo de la respuesta sigue siendo switchyard.
Ahora, las limitaciones. NVIDIA califica switchyard-server 0.3.
0 como un componente de demostración para evaluación, la integración con LiteLLM es experimental y la configuración puede cambiar entre versiones. El propio código de AWS lo marca como ejemplo para cuentas que no son de producción. No incluya las claves de AWS en `litellm.
yaml: el archivo se copia completo en la definición de la tarea y en la plantilla de CloudFormation, en texto plano. El prefijo global.` de Claude indica un perfil de inferencia global entre regiones, y las peticiones pueden procesarse en otras regiones.
Si el lugar de procesamiento importa, use un perfil geográfico o un modelo en su propia región. La combinación de modelos se ha probado en US East (N. Virginia); para otras regiones, la disponibilidad debe comprobarse por separado.
Conclusión práctica
El ejemplo resulta útil para los equipos que ya usan agentes de programación y quieren contrastar la hipótesis de que parte de los pasos puede delegarse en un modelo barato sin perder tasa de tareas resueltas. Incluye ejecutores de benchmark que calculan el coste por tarea resuelta tanto para el grupo enrutado como para los controles de un solo modelo. En el fragmento del artículo que se nos ha proporcionado no aparecen cifras finales de ahorro, así que el resultado habrá que medirlo con sus propias tareas.
- 21 nov 2026Servidor MCP de 360 líneas sin SDK: cinco decisiones que hicieron que el agente dejara de romper enlaces
- 21 nov 2026Text-to-cad: un agente de IA dibuja piezas de un robot a partir de una descripción y el proyecto suma 26 000 estrellas
- 21 nov 2026El vídeo de Claude jugando a GTA 6 parece un montaje: media hora de control agotó el límite de 5 horas de Pro
- 21 nov 2026Claude Code aceleró la descompilación de Snowboard Kids 2: del 20% al 45% de las funciones en tres meses
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué conviene contar tareas resueltas y no tokens?
El coste final depende de tres factores: cuántos turnos del modelo necesita una tarea, cuánto historial se reenvía en cada turno y con qué frecuencia hay que relanzar la tarea o esta ni siquiera termina. Se paga por cada intento, incluidos los fallidos. Los autores proponen una métrica sencilla: el coste de todas las ejecuciones dividido entre el número de ejecuciones en las que las pruebas pasan.
Cómo funciona el enrutamiento?
NVIDIA NeMo Switchyard es una biblioteca de código abierto que decide qué modelo procesa cada petición del agente. Combinada con LiteLLM, una pasarela abierta para LLM, ofrece dos estrategias. Stage analiza los últimos resultados de herramientas en el historial de la conversación y elige entre dos candidatos: un modelo capaz o uno eficiente y más barato. Random reparte el tráfico según pesos definidos, lo que resulta cómodo para comparaciones A/B: en el ejemplo, el perfil reparte el tráfico al 50 %.
¿Qué se sabe sobre Qué incluye la plantilla y qué advertencias hay?
La plantilla en AWS CDK levanta LiteLLM con el plugin integrado de Switchyard en un solo contenedor sobre ECS Fargate, en subredes privadas. Las peticiones llegan a través de un balanceador HTTPS con certificado de ACM, AWS WAF y una restricción a su rango de IP. El balanceador solo deja pasar tres rutas: /v1/chat/completions, /v1/models y /health/liveliness. El panel de administración y la documentación de LiteLLM no son accesibles desde fuera.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.