Airbnb change de modèle pour ses agents de codage : les dépenses des gros utilisateurs divisées par 7
Airbnb choisit les modèles de ses agents de codage selon le coût d'une tâche entière, et non selon les benchmarks. Le modèle A a gagné plus de 3 points aux tests, mais en production, chaque requête a coûté trois fois plus cher et les ingénieurs ont envoyé trois fois plus de requêtes. Les gros utilisateurs ont été basculés sur un modèle dont le coût par tâche est 6 fois inférieur : leurs dépenses ont été divisées par 7. La leçon : comparez les résultats des tests à la facture réelle après le déploiement.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Imaginez : vous remplacez le modèle de l'agent de codage de votre équipe par celui qui brille le plus dans les tests. Quelques semaines plus tard, la comptabilité vous envoie une facture bien supérieure à ce que vous attendiez. C'est exactement ce qui s'est produit chez Airbnb.
Sur les tâches internes, le modèle A a obtenu plus de trois points de plus que l'ancien leader, pour un prix à peu près identique. Mais en production, chaque requête a coûté trois fois plus cher, et les ingénieurs ont envoyé trois fois plus de requêtes. Lorsque les gros utilisateurs ont été basculés sur un autre modèle, leurs dépenses sur le modèle principal ont chuté d'environ 7 fois.
Dans un billet de blog AWS, l'entreprise explique comment éviter ce piège sur Amazon Bedrock : ne pas raisonner en prix par million de tokens, mais en coût d'une tâche entière (cost per task), c'est-à-dire le coût de tous les tokens que l'agent a consommés pour mener une tâche à son terme.
Pourquoi les benchmarks ne répondent pas à la question essentielle
Chaque semaine, des milliers de salariés utilisent AirChat, l'outil interne qui sert à lancer les agents de codage. Toutes les requêtes passent par une passerelle LLM installée au-dessus de Bedrock. En cinq semaines, huit nouveaux modèles sont sortis, et à la mi-octobre, environ deux tiers des requêtes leur étaient déjà adressées. Chaque modèle modifie en même temps le nombre de tokens de sortie, le prix, les latences et la charge sur les quotas. Les graphiques de l'annonce ne disent pas comment il se comportera sur le travail concret de vos ingénieurs.
Airbnb s'appuie donc sur deux dispositifs. Avant le déploiement, l'entreprise mesure, sur ses propres tâches, le score et le coût par tâche de chaque modèle et de chaque niveau de reasoning effort, le paramètre qui règle combien le modèle « réfléchit » avant de répondre. Après le déploiement, elle observe ce qui change en production.
Un agent envoie de nombreuses requêtes pour une seule tâche, et à chacune, le modèle relit tout le contexte accumulé. Airbnb compte donc quatre types de tokens : l'entrée classique, la lecture depuis le cache, l'écriture dans le cache et la sortie. La moyenne inclut aussi les tentatives ratées. Sur l'un des modèles, le passage de l'effort low à high a apporté +0,8 point pour un coût par tâche 2,5 fois plus élevé. Ces données servent à fixer des plafonds d'effort que la passerelle applique réellement.
L'évaluation est rapide : le jour de la sortie d'un modèle, une seule requête lance une campagne sur sept jeux de tâches, et le lendemain matin, le modèle a un score et un coût. Chaque tâche est un dossier contenant une consigne, un Dockerfile, un script de vérification et une solution de référence. Pour démarrer, les auteurs recommandent le framework open source Harbor. Le plus difficile est de rédiger la grille d'évaluation : les tâches longues se déroulent en plusieurs tours avec un relecteur simulé, et un modèle juge note le travail selon huit critères. Si le relecteur a dû remettre l'agent sur les rails à plusieurs reprises, le résultat final est plafonné à 25 points sur 100.
Quand une bonne note se transforme en facture
Le modèle A a été déployé, avec un effort plafonné à high et une consigne d'utiliser plutôt low ou medium. Quelques semaines plus tard, les dépenses par utilisateur étaient plusieurs fois plus élevées. Les tokens de sortie ne représentaient qu'un dixième du coût d'une requête. L'essentiel de l'argent partait dans le contexte mis en cache, relu encore et encore. Le modèle savait travailler longtemps en autonomie, et les utilisateurs lançaient de longues sessions autonomes.
Un modèle sorti plus tard a obtenu un meilleur score sur les mêmes tâches, avec un coût par tâche environ 6 fois inférieur. Les utilisateurs du modèle A y ont été basculés par un simple changement de configuration. Au cours de la première semaine complète, le nombre de requêtes est resté le même, tandis que les dépenses du groupe sur le modèle principal ont chuté d'environ 7 fois.
Monitoring, quotas et attribution des coûts
En cas de hausse de la latence, Airbnb examine trois métriques : TimeToFirstToken, OutputTokenCount et la vitesse de génération déduite (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). Dans l'exemple cité, la latence a augmenté de 40 % alors que la vitesse est restée la même : quelqu'un avait modifié le prompt système, et les réponses étaient devenues 50 % plus longues. Les auteurs conseillent de marquer sur le tableau de bord les changements de prompt et de modèle comme des déploiements.
Les quotas posent un autre type de confusion. Bedrock réserve pour chaque requête les tokens d'entrée hors cache, les écritures dans le cache et max_tokens. Les lectures depuis le cache ne comptent pas dans le quota : une requête peut donc être peu coûteuse pour le quota et chère pour la facture.
Dans l'exemple d'un quota de 1 million de tokens par minute et de 300 requêtes par minute, le tableau de bord affichait environ 30 %. Avec le coefficient 5:1 appliqué aux tokens de sortie, le taux réel atteignait environ 77 %. La réserve par requête était de 4696 tokens, alors que les réponses tenaient dans environ 800 tokens au p99.
Ramener max_tokens à 1024 a fait passer la réserve à 1624 tokens, soit environ 65 % de moins, et le quota a laissé passer davantage de requêtes. Les réponses tronquées se repèrent grâce à stopReason.
Pour chaque grand modèle, Airbnb garde un équivalent validé par l'évaluation, vers lequel le trafic peut être rééquilibré par simple configuration. Pour les modèles au statut Legacy, une alerte est posée sur LegacyModelInvocations. Les coûts par équipe sont calculés via les tags des rôles IAM et les application inference profiles, tandis que les métadonnées de requête vont uniquement dans les logs, pas dans la facture.
Ce qu'il faut retenir
- Comptez le coût d'une tâche entière, pas le prix par million de tokens.
- Après le déploiement, confrontez le résultat de l'évaluation à la part du cache et au nombre de requêtes par personne.
- Limitez max_tokens et effort, et gardez un modèle de secours.
Limite : les prix sont calculés d'après la grille publique, et non d'après les remises réelles, et il faut disposer de son propre jeu de tâches avec un évaluateur fiable.
- 18 nov. 2026AWS intègre Dynamo à HyperPod : Qwen3-235B passe de 101 à 207 tokens/s par GPU
- 18 nov. 2026Le nouveau modèle Jev répond en 150 ms, contre 1,89 s pour GPT-6 Astra
- 18 nov. 2026AWS montre comment ouvrir les API privées aux agents Bedrock via un pare-feu central
- 18 nov. 2026Duco réduit de 90% le contexte de ses agents et accélère par 10 la migration des réconciliations bancaires
Questions clés sur cet article
Pourquoi les benchmarks ne répondent pas à la question essentielle?
Chaque semaine, des milliers de salariés utilisent AirChat, l'outil interne qui sert à lancer les agents de codage. Toutes les requêtes passent par une passerelle LLM installée au-dessus de Bedrock. En cinq semaines, huit nouveaux modèles sont sortis, et à la mi-octobre, environ deux tiers des requêtes leur étaient déjà adressées. Chaque modèle modifie en même temps le nombre de tokens de sortie, le prix, les latences et la charge sur les quotas.
Quand une bonne note se transforme en facture?
Le modèle A a été déployé, avec un effort plafonné à high et une consigne d'utiliser plutôt low ou medium. Quelques semaines plus tard, les dépenses par utilisateur étaient plusieurs fois plus élevées. Les tokens de sortie ne représentaient qu'un dixième du coût d'une requête. L'essentiel de l'argent partait dans le contexte mis en cache, relu encore et encore. Le modèle savait travailler longtemps en autonomie, et les utilisateurs lançaient de longues sessions autonomes.
Que sait-on sur Monitoring, quotas et attribution des coûts ?
En cas de hausse de la latence, Airbnb examine trois métriques : TimeToFirstToken, OutputTokenCount et la vitesse de génération déduite (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). Dans l'exemple cité, la latence a augmenté de 40 % alors que la vitesse est restée la même : quelqu'un avait modifié le prompt système, et les réponses étaient devenues 50 % plus longues. Les auteurs conseillent de marquer sur le tableau de bord les changements de prompt et de modèle comme des déploiements.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.