Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarAWS Machine Learning Blog→ original

AWS y NVIDIA muestran cómo repartir las peticiones de un agente de programación entre Claude Opus 5.5 y Nemotron

Un agente de programación como Claude Code hace entre unas pocas y decenas de peticiones por tarea, así que el precio por token no refleja el coste real de una tarea. AWS publicó una plantilla en la que la biblioteca Switchyard de NVIDIA, integrada en la pasarela LiteLLM, decide en cada paso si usar Claude Opus 5.5, más potente, o Nemotron 3 Super 120B, más barato. El ahorro se calcula como el coste de todas las ejecuciones dividido entre el número de ejecuciones con las pruebas superadas, lo que permite ver si el modelo barato compensa.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
AWS y NVIDIA muestran cómo repartir las peticiones de un agente de programación entre Claude Opus 5.5 y Nemotron
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1Stage analiza los 3 últimos resultados de las herramientas y elige entre 2 modelos
Dato clave #2Una petición nueva sin historial va directamente a Nemotron 3 Super, el barato
Dato clave #3Switchyard-server 0.3.0 es una versión de demostración y no es apta para producción

Imagine que le pide a un agente de programación que corrija un error. Lee archivos, modifica el código, ejecuta las pruebas, vuelve a modificarlo y así sucesivamente hasta que todo funciona. Para una tarea de este tipo puede hacer falta una docena de llamadas al modelo, o varias decenas. Usted paga por la tarea completa, no por una sola llamada, así que el precio por token dice muy poco sobre el gasto real. AWS publicó en su blog un ejemplo de cómo repartir las peticiones del agente entre dos modelos de Amazon Bedrock: el potente Claude Opus 5.5 y el más barato NVIDIA Nemotron 3 Super 120B. También explica cómo comprobar si este esquema compensa.

Por qué conviene contar tareas resueltas y no tokens

El coste final depende de tres factores: cuántos turnos del modelo necesita una tarea, cuánto historial se reenvía en cada turno y con qué frecuencia hay que relanzar la tarea o esta ni siquiera termina. Se paga por cada intento, incluidos los fallidos. Los autores proponen una métrica sencilla: el coste de todas las ejecuciones dividido entre el número de ejecuciones en las que las pruebas pasan. Un modelo barato con un porcentaje de éxito bajo puede acabar saliendo más caro que uno potente que acierta a la primera.

Cómo funciona el enrutamiento

NVIDIA NeMo Switchyard es una biblioteca de código abierto que decide qué modelo procesa cada petición del agente. Combinada con LiteLLM, una pasarela abierta para LLM, ofrece dos estrategias. Stage analiza los últimos resultados de herramientas en el historial de la conversación y elige entre dos candidatos: un modelo capaz o uno eficiente y más barato. Random reparte el tráfico según pesos definidos, lo que resulta cómodo para comparaciones A/B: en el ejemplo, el perfil reparte el tráfico al 50 %.

En la plantilla, el modelo «capaz» es Claude Opus 5.5 y el «eficiente», Nemotron 3 Super 120B. El orden en la configuración importa: el primero se considera el potente y el segundo el barato.

El ajuste efficient_first significa que, si las señales no son claras, se elige el modelo barato. Una petición nueva todavía no tiene resultados de herramientas, así que lo primero es enviarla a Nemotron. La ventana de análisis son los tres últimos resultados.

No se invoca ningún modelo juez para decidir, por lo que el agente debe enviar el historial completo de la conversación; de lo contrario, Stage no tendría nada que analizar. Las estrategias que necesitan llamadas intermedias a un modelo clasificador, como Task y Composite, no son compatibles con esta integración.

La configuración también describe dos grupos con un solo modelo: solo Claude y solo Nemotron. Sirven como controles para comparar, en el mismo despliegue, el enrutamiento frente a cada modelo por separado.

Qué incluye la plantilla y qué advertencias hay

La plantilla en AWS CDK levanta LiteLLM con el plugin integrado de Switchyard en un solo contenedor sobre ECS Fargate, en subredes privadas. Las peticiones llegan a través de un balanceador HTTPS con certificado de ACM, AWS WAF y una restricción a su rango de IP. El balanceador solo deja pasar tres rutas: /v1/chat/completions, /v1/models y /health/liveliness.

El panel de administración y la documentación de LiteLLM no son accesibles desde fuera. Para conectarse a Bedrock, la pasarela usa la Converse API y un endpoint de VPC de interfaz, de modo que el tráfico se mantiene dentro de la red de AWS. La clave de la pasarela la genera Secrets Manager y los registros se guardan en CloudWatch durante 30 días.

El modelo que respondió se ve en la cabecera x-litellm-model-name, mientras que el campo model del cuerpo de la respuesta sigue siendo switchyard.

Ahora, las limitaciones. NVIDIA califica switchyard-server 0.3.

0 como un componente de demostración para evaluación, la integración con LiteLLM es experimental y la configuración puede cambiar entre versiones. El propio código de AWS lo marca como ejemplo para cuentas que no son de producción. No incluya las claves de AWS en `litellm.

yaml: el archivo se copia completo en la definición de la tarea y en la plantilla de CloudFormation, en texto plano. El prefijo global.` de Claude indica un perfil de inferencia global entre regiones, y las peticiones pueden procesarse en otras regiones.

Si el lugar de procesamiento importa, use un perfil geográfico o un modelo en su propia región. La combinación de modelos se ha probado en US East (N. Virginia); para otras regiones, la disponibilidad debe comprobarse por separado.

Conclusión práctica

El ejemplo resulta útil para los equipos que ya usan agentes de programación y quieren contrastar la hipótesis de que parte de los pasos puede delegarse en un modelo barato sin perder tasa de tareas resueltas. Incluye ejecutores de benchmark que calculan el coste por tarea resuelta tanto para el grupo enrutado como para los controles de un solo modelo. En el fragmento del artículo que se nos ha proporcionado no aparecen cifras finales de ahorro, así que el resultado habrá que medirlo con sus propias tareas.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué conviene contar tareas resueltas y no tokens?

El coste final depende de tres factores: cuántos turnos del modelo necesita una tarea, cuánto historial se reenvía en cada turno y con qué frecuencia hay que relanzar la tarea o esta ni siquiera termina. Se paga por cada intento, incluidos los fallidos. Los autores proponen una métrica sencilla: el coste de todas las ejecuciones dividido entre el número de ejecuciones en las que las pruebas pasan.

Cómo funciona el enrutamiento?

NVIDIA NeMo Switchyard es una biblioteca de código abierto que decide qué modelo procesa cada petición del agente. Combinada con LiteLLM, una pasarela abierta para LLM, ofrece dos estrategias. Stage analiza los últimos resultados de herramientas en el historial de la conversación y elige entre dos candidatos: un modelo capaz o uno eficiente y más barato. Random reparte el tráfico según pesos definidos, lo que resulta cómodo para comparaciones A/B: en el ejemplo, el perfil reparte el tráfico al 50 %.

¿Qué se sabe sobre Qué incluye la plantilla y qué advertencias hay?

La plantilla en AWS CDK levanta LiteLLM con el plugin integrado de Switchyard en un solo contenedor sobre ECS Fargate, en subredes privadas. Las peticiones llegan a través de un balanceador HTTPS con certificado de ACM, AWS WAF y una restricción a su rango de IP. El balanceador solo deja pasar tres rutas: /v1/chat/completions, /v1/models y /health/liveliness. El panel de administración y la documentación de LiteLLM no son accesibles desde fuera.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…