AWS et NVIDIA montrent comment répartir les requêtes d'un agent de code entre Claude Opus 5.5 et Nemotron
Un agent de code comme Claude Code enchaîne pour une seule tâche de quelques à plusieurs dizaines de requêtes. Le prix d'un jeton ne reflète donc pas le coût réel d'une tâche. AWS a publié un modèle dans lequel la bibliothèque NVIDIA Switchyard, intégrée à la passerelle LiteLLM, choisit à chaque étape entre le modèle puissant Claude Opus 5.5 et le modèle moins cher Nemotron 3 Super 120B. Le gain se calcule comme le coût de l'ensemble des exécutions divisé par le nombre d'exécutions dont les tests passent, ce qui permet de voir si le modèle bon marché est rentable.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Imaginez que vous demandiez à un agent de code de corriger un bug. Il lit des fichiers, modifie le code, lance les tests, corrige à nouveau, et ainsi de suite jusqu'à ce que tout fonctionne. Une telle tâche peut nécessiter quelques appels au modèle, ou plusieurs dizaines. Vous payez la tâche dans son ensemble, et non un seul appel, si bien que le prix par jeton dit presque rien des dépenses réelles. AWS a publié sur son blog un exemple de répartition des requêtes d'un agent entre deux modèles sur Amazon Bedrock : le puissant Claude Opus 5.5 et le modèle NVIDIA Nemotron 3 Super 120B, moins cher. L'article montre aussi comment vérifier que ce schéma est rentable.
Pourquoi compter les tâches résolues plutôt que les jetons
Le coût final dépend de trois éléments : le nombre de tours de modèle nécessaires pour une tâche, la quantité d'historique renvoyée à chaque tour, et la fréquence à laquelle la tâche doit être relancée, voire n'aboutit jamais. Vous payez chaque tentative, y compris celles qui échouent. Les auteurs proposent une métrique simple : le coût de l'ensemble des exécutions divisé par le nombre d'exécutions dont les tests passent. Un modèle bon marché au faible taux de réussite peut facilement coûter plus cher qu'un modèle puissant qui réussit du premier coup.
Comment fonctionne le routage
NVIDIA NeMo Switchyard est une bibliothèque open source qui décide quel modèle traite chaque requête de l'agent. Couplée à LiteLLM, une passerelle open source pour LLM, elle propose deux stratégies. Stage examine les derniers résultats d'outils dans l'historique de la conversation et choisit entre deux candidats : un modèle capable ou un modèle efficace et moins cher. Random répartit le trafic selon des poids définis, ce qui est pratique pour des comparaisons A/B : dans l'exemple, le profil répartit le trafic à 50 / 50.
Dans le modèle, le modèle « capable » est Claude Opus 5.5 et le modèle « efficace » est Nemotron 3 Super 120B. L'ordre dans la configuration compte : le premier est considéré comme fort, le second comme économique.
Le paramètre efficient_first signifie qu'en cas de signaux peu clairs, c'est le modèle économique qui est choisi. Une nouvelle requête ne contient encore aucun résultat d'outil ; elle part donc d'abord vers Nemotron. La fenêtre d'analyse porte sur les trois derniers résultats.
Aucun modèle juge n'est appelé pour le choix, donc l'agent doit envoyer l'historique complet de la conversation, sans quoi Stage n'a rien à lire. Les stratégies qui nécessitent des appels intermédiaires à un modèle classificateur, comme Task et Composite, ne sont pas prises en charge par cette intégration.
La configuration décrit aussi deux groupes à modèle unique : uniquement Claude et uniquement Nemotron. Ils servent de contrôles, pour comparer dans un même déploiement le routage avec chaque modèle pris séparément.
Le contenu du modèle et ses réserves
Le modèle AWS CDK déploie LiteLLM avec le plugin Switchyard intégré, dans un seul conteneur sur ECS Fargate, dans des sous-réseaux privés. Les requêtes passent par un répartiteur de charge HTTPS avec un certificat ACM, AWS WAF et une restriction à votre plage IP. Le répartiteur ne laisse passer que trois chemins : /v1/chat/completions, /v1/models et /health/liveliness.
L'interface d'administration et la documentation de LiteLLM ne sont pas accessibles depuis l'extérieur. La passerelle s'adresse à Bedrock via l'API Converse et un point de terminaison VPC d'interface, de sorte que le trafic reste dans le réseau AWS. La clé de la passerelle est générée par Secrets Manager, et les journaux sont conservés 30 jours dans CloudWatch.
Le modèle ayant répondu apparaît dans l'en-tête x-litellm-model-name, tandis que le champ model du corps de la réponse reste switchyard.
Passons aux limites. NVIDIA qualifie switchyard-server 0.3.
0 de composant de démonstration destiné à l'évaluation, l'intégration avec LiteLLM est expérimentale et la configuration peut changer d'une version à l'autre. AWS indique elle-même que le code est un exemple réservé aux comptes hors production. N'inscrivez pas vos clés AWS dans `litellm.
yaml : le fichier est copié intégralement dans la définition de la tâche et dans le modèle CloudFormation, en clair. Le préfixe global.` de Claude désigne un profil inter-régional global : les requêtes peuvent être traitées dans d'autres régions.
Si le lieu de traitement compte, utilisez un profil géographique ou un modèle dans votre propre région. La paire de modèles a été testée dans US East (N. Virginia) ; pour les autres régions, la disponibilité doit être vérifiée séparément.
Conclusion pratique
L'exemple intéresse les équipes qui utilisent déjà des agents de code et veulent tester l'hypothèse suivante : une partie des étapes peut être confiée à un modèle bon marché sans perdre la part de tâches résolues. Le kit comprend des lanceurs de benchmark qui calculent le coût par tâche résolue pour le groupe routé et pour les contrôles à modèle unique. Dans l'extrait de l'article fourni, aucun chiffre final d'économies n'est donné : le résultat devra donc être mesuré sur vos propres tâches.
- 21 nov. 2026La vidéo de Claude jouant à GTA 6 ressemble à un fake : une demi-heure de contrôle a épuisé la limite de 5 heures du forfait Pro
- 21 nov. 2026Claude Code accélère la décompilation de Snowboard Kids 2 : de 20 % à 45 % des fonctions en trois mois
- 21 nov. 2026Les offres FDE ont été multipliées par 4,6 en un an : ce que fait un ingénieur chez le client
- 21 nov. 2026Anthropic baisse de 20 % le prix de Claude Fable 5.2 : sur le code, elle fait presque jeu égal avec Opus 5.5
Questions clés sur cet article
Pourquoi compter les tâches résolues plutôt que les jetons?
Le coût final dépend de trois éléments : le nombre de tours de modèle nécessaires pour une tâche, la quantité d'historique renvoyée à chaque tour, et la fréquence à laquelle la tâche doit être relancée, voire n'aboutit jamais. Vous payez chaque tentative, y compris celles qui échouent. Les auteurs proposent une métrique simple : le coût de l'ensemble des exécutions divisé par le nombre d'exécutions dont les tests passent.
Comment fonctionne le routage?
NVIDIA NeMo Switchyard est une bibliothèque open source qui décide quel modèle traite chaque requête de l'agent. Couplée à LiteLLM, une passerelle open source pour LLM, elle propose deux stratégies. Stage examine les derniers résultats d'outils dans l'historique de la conversation et choisit entre deux candidats : un modèle capable ou un modèle efficace et moins cher.
Que sait-on sur Le contenu du modèle et ses réserves ?
Le modèle AWS CDK déploie LiteLLM avec le plugin Switchyard intégré, dans un seul conteneur sur ECS Fargate, dans des sous-réseaux privés. Les requêtes passent par un répartiteur de charge HTTPS avec un certificat ACM, AWS WAF et une restriction à votre plage IP. Le répartiteur ne laisse passer que trois chemins : /v1/chat/completions, /v1/models et /health/liveliness. L'interface d'administration et la documentation de LiteLLM ne sont pas accessibles depuis l'extérieur.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.