L'agent Flightscape, avec un JSON de 23 Mo, consomme jusqu'à 71% de tokens en moins et répond jusqu'à 80% plus vite
Quand un agent IA appelle un outil qui renvoie un JSON de plusieurs dizaines de mégaoctets, le fichier entier atterrit dans le contexte du modèle. Chaque question suivante coûte alors plus cher et prend plus de temps. L'équipe de Flightscape a déplacé les données lourdes vers S3 et ne transmet au modèle qu'un court résumé, accompagné d'un lien vers le résultat complet. Sur un JSON de 23 Mo, la consommation de tokens a chuté de 71%, et la réponse moyenne est passée de 15,4 à 3,1 secondes. La même approche convient à n'importe quel agent qui s'appuie sur des outils lourds.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Imaginez qu'à chaque question posée à un collègue, vous receviez une réponse accompagnée d'un tableau de 23 mégaoctets, et ce dix fois de suite. C'est à peu près ainsi que fonctionnait l'agent IA de Flightscape, fournisseur de plateformes pour compagnies aériennes. Les données sont des fichiers JSON (format de texte structuré) de plus de 20 Mo, l'agent dispose de plus de quarante outils, et chacun d'eux renvoyait, à l'appel, sa part de ce volume directement dans le contexte du modèle, c'est-à-dire dans sa « mémoire de travail ».
Les tokens (les unités de texte facturées) partaient en quantités énormes, et la réponse moyenne dépassait 15 secondes. Après refonte, sur un fichier de test de 23 Mo, la consommation de tokens a baissé jusqu'à 71%, et la latence (le temps d'attente d'une réponse) a diminué jusqu'à 80%. Les ingénieurs ont détaillé leur démarche sur le blog d'AWS, et elle intéressera tous ceux qui construisent des agents sur de gros volumes de données.
Quel était le problème
L'agent vérifie, selon des règles métier, les affectations des équipages à des formations. En entrée, il reçoit trois documents : la requête adressée à l'optimiseur de planning, sa réponse et le rapport du validateur. L'agent est construit avec LangGraph (framework open source de LangChain) et tourne sur Amazon Bedrock AgentCore, tandis que la mémoire de session est stockée dans AgentCore Memory.
Fonctionnellement, tout marchait, mais les données lourdes se trouvaient trop près de la conversation. Chaque réponse d'outil entrait intégralement dans le contexte, une seule réponse pouvait occuper plus de 80 000 tokens, et dans un échange à plusieurs tours, ces volumes s'accumulaient. Sur les gros jeux de données, le contexte était saturé avant que l'agent ait fini de formuler sa réponse.
Trois techniques pour y remédier
Première : la mémoire de session ne contient que des références. La requête, la réponse, le rapport de validation et les données dérivées partent dans Amazon S3 (stockage cloud de fichiers). AgentCore Memory ne reçoit que les messages et les clés d'objets. Au début de chaque tour, la fonction hydrate_state() reconstitue l'état de travail ; à la fin, dehydrate_state() renvoie à nouveau les données lourdes vers le stockage. La clé est calculée comme un hash SHA-256 du contenu, si bien que des données identiques ne sont pas téléversées deux fois. Un petit cache en processus évite en outre d'interroger S3 deux fois au cours d'un même appel.
Deuxième : les longues listes sont servies par pages. Lorsqu'un outil renvoie une liste dépassant un seuil donné, le résultat complet est enregistré dans S3. Le modèle reçoit une réponse compacte : le nombre total d'enregistrements, un petit échantillon et un « handle » (une poignée), c'est-à-dire un lien vers le résultat complet. S'il lui en faut davantage, le modèle appelle get_result_page_tool avec le handle, un décalage et une limite, puis récupère le passage voulu. C'est comme demander au bibliothécaire la table des matières et quelques exemples, plutôt que d'exiger qu'il pose toutes les archives sur le bureau.
Troisième : les gros dictionnaires sont remplacés par une description. Ici, la structure compte plus que le contenu. Pour les listes, on ne garde que le nombre d'éléments et cinq exemples ; pour les dictionnaires imbriqués, le nombre de clés, tandis que les valeurs simples restent inchangées. La version complète repart dans le stockage, avec un handle. Un garde-fou est également prévu : si la réponse sérialisée dépasse malgré tout la limite de caractères, elle est remplacée par une description.
Les résultats en chiffres
L'équipe a soumis les mêmes questions, sur un même jeu de données, à l'ancienne et à la nouvelle version de l'agent, puis comparé les métriques dans AgentCore Observability.
- Conversation de 5 questions sur 23 Mo de données : les tokens sont passés d'environ 289 500 à 82 900 (−71%), et la latence moyenne de la trace de 15,4 à 3,1 secondes (près de −80%).
- 100 questions de test : les tokens sont passés de 23,6 millions à 8,5 millions (−64%), et la latence moyenne de 7 930 à 2 461 ms (−69%).
- Requête la plus lourde, la liste des équipages conformes pour toutes les catégories de contrôle : tokens en entrée d'environ 32 000 à 8 000, tokens en sortie de 2 800 à 477, durée du tour de 165 à 9,9 secondes (−94%).
Les auteurs relèvent aussi un effet secondaire : la croissance du contexte est devenue prévisible, et dans les longues conversations, l'agent ne ralentit plus à chaque nouvelle question.
Réserves et enseignements à retenir
Les chiffres proviennent du benchmark interne d'une seule entreprise, sur un seul type de données. Chez vous, le gain dépendra de la structure des réponses de vos outils. Si chaque réponse est petite, ce schéma ne fera qu'ajouter de la complexité.
Il a aussi un coût. Il introduit une dépendance à S3 et des accès supplémentaires au stockage. Le modèle décide désormais lui-même quand charger la page suivante, et un échantillon des premiers enregistrements peut l'induire en erreur. Pour les questions qui exigent tous les enregistrements, le nombre d'appels à l'outil de pagination augmentera. Par ailleurs, le document donne deux valeurs pour le tour le plus lourd : 9,9 secondes dans le tableau et environ 15 secondes sur la chronologie de la trace. Il faut donc manier les chiffres absolus avec prudence.
La conclusion pratique est simple. Ne donnez pas au modèle ce qu'il n'a pas besoin de lire en entier : stockez les gros objets à l'extérieur, gardez des références dans la conversation, faites renvoyer par les outils une table des matières accompagnée d'exemples, et donnez un moyen de lire la suite au besoin. Il suffit pour cela de Python 3.12+, boto3, langchain-core et langgraph, et les auteurs ont publié le code dans un dépôt GitHub dédié. Si votre agent travaille sur de gros rapports, des logs ou des exports de CRM, commencez par mesurer combien de tokens partent dans les réponses des outils en un seul tour. C'est probablement là que se cache l'essentiel de la facture.
- 18 nov. 2026Le plugin TokenEconomizer réduit de 18,4–30,9% le coût des agents IA de code, sans changer de modèle
- 18 nov. 2026Cinq IA, un seul bug : deux l'ont corrigé, trois ont cassé davantage de choses
- 18 nov. 2026Qwen sur deux DGX Spark gagne 34–59% en tokens par seconde et devance GLM
- 18 nov. 2026Un développeur donne des mains au chat IA web : un serveur MCP de 14 outils et 21 000 lignes
Questions clés sur cet article
Que sait-on sur Quel était le problème ?
L'agent vérifie, selon des règles métier, les affectations des équipages à des formations. En entrée, il reçoit trois documents : la requête adressée à l'optimiseur de planning, sa réponse et le rapport du validateur. L'agent est construit avec LangGraph (framework open source de LangChain) et tourne sur Amazon Bedrock AgentCore, tandis que la mémoire de session est stockée dans AgentCore Memory. Fonctionnellement, tout marchait, mais les données lourdes se trouvaient trop près de la conversation.
Que sait-on sur Trois techniques pour y remédier ?
Première : la mémoire de session ne contient que des références. La requête, la réponse, le rapport de validation et les données dérivées partent dans Amazon S3 (stockage cloud de fichiers). AgentCore Memory ne reçoit que les messages et les clés d'objets. Au début de chaque tour, la fonction hydrate_state() reconstitue l'état de travail ; à la fin, dehydrate_state() renvoie à nouveau les données lourdes vers le stockage.
Que sait-on sur Les résultats en chiffres ?
L'équipe a soumis les mêmes questions, sur un même jeu de données, à l'ancienne et à la nouvelle version de l'agent, puis comparé les métriques dans AgentCore Observability. Conversation de 5 questions sur 23 Mo de données : les tokens sont passés d'environ 289 500 à 82 900 (−71%), et la latence moyenne de la trace de 15,4 à 3,1 secondes (près de −80%). 100 questions de test : les tokens sont passés de 23,6 millions à 8,5 millions (−64%), et la latence moyenne de 7 930 à 2 461 ms (−69%).
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.