Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAWS Machine Learning Blog→ original

AgentCore V2 d'AWS lance les agents depuis un snapshot mémoire, mais deux secondes restent trop pour le chat et la voix

Jusqu'ici, chaque nouvelle session d'agent IA dans Amazon Bedrock AgentCore relançait le conteneur depuis le début, et le temps de démarrage augmentait avec la taille de l'image. Avec la version V2, l'environnement est préparé une seule fois, figé sous forme de snapshot de mémoire et de disque, puis restauré pour chaque nouvelle session, à la manière d'une partie reprise depuis une sauvegarde : les imports et les clients sont déjà en place. La plupart des agents profitent du passage à V2, mais pour le chat et la voix, deux secondes de démarrage restent beaucoup. Il faut donc déplacer toute l'initialisation avant app.run().

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
AgentCore V2 d'AWS lance les agents depuis un snapshot mémoire, mais deux secondes restent trop pour le chat et la voix
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1La construction du snapshot prend plusieurs minutes à chaque create ou update
Chiffre clé #2Les fichiers de l'image sont lus à la demande, et le cache de fichiers est vidé avant la congélation
Chiffre clé #3Les connexions réseau ouvertes deviennent obsolètes après la restauration : fermez-les à l'avance

Imaginez un agent qui analyse des déclarations de sinistres ou vérifie du code. S'il tourne en arrière-plan, personne ne remarque combien de secondes il met à monter en charge. Mais si on le place derrière une fenêtre de chat ou un assistant vocal, la pause avant la première réponse fait partie du produit.

AWS a décrit le fonctionnement du démarrage rapide des sessions dans l'environnement d'exécution d'Amazon Bedrock AgentCore, dans la version V2 de la plateforme (paramètre platformVersion avec la valeur « V2 »), et la façon de reconfigurer un agent pour en tirer le maximum. L'idée : au lieu de lancer un conteneur de zéro pour chaque utilisateur, la plateforme prépare l'environnement une seule fois, en enregistre un snapshot et déploie ce snapshot dans chaque nouvelle session. Selon AWS, pour de nombreux scénarios, une nouvelle session prend environ 2 secondes, mais pour le chat et la voix, ce délai reste trop long.

Comment V2 démarre une session

Chaque session dans AgentCore s'exécute dans sa propre micro-machine virtuelle isolée. En V1, à chaque nouveau lancement, la plateforme tirait l'image du conteneur depuis Amazon ECR, démarrait le conteneur et exécutait votre code d'initialisation. L'essentiel du temps partait dans le chargement de l'image, si bien que le démarrage à froid augmentait avec sa taille.

En V2, ce travail est effectué une seule fois, lors de la création ou de la mise à jour du runtime. AgentCore lance le conteneur dans une micro-VM propre et attend une première réponse réussie à GET /ping, pendant 120 secondes au maximum. Ensuite, il vide le cache de fichiers du système d'exploitation pour que le snapshot reste petit, puis gèle la machine et sauvegarde sa mémoire et son disque.

Lorsqu'une nouvelle session arrive, le snapshot est restauré dans une nouvelle micro-VM, et le processus reprend là où il a été figé, avec ses imports, ses objets et ses clients déjà prêts. Le revers de cette approche : chaque création ou mise à jour prend désormais plusieurs minutes, le temps de construire le snapshot.

Il en découle trois règles. La mémoire revient en entier, y compris les fichiers placés dans un disque RAM comme /dev/shm. Lire un fichier pendant l'initialisation n'accélère rien, puisque le cache est vidé avant la congélation. Quant aux fichiers de l'image, ils sont chargés à la demande : chaque bloc est récupéré depuis le stockage du snapshot au premier accès.

Quoi déplacer dans l'initialisation

Le conseil classique contre le démarrage à froid consiste à importer paresseusement et à garder une initialisation courte. Avec V2, c'est l'inverse. L'initialisation est exécutée une seule fois, lors de la construction du snapshot, alors que le travail reporté dans le gestionnaire de requêtes est payé par chaque nouvelle session. AWS désigne par « initialisation » tout ce que l'agent fait avant que /ping réponde « healthy » ; dans le SDK Python, il s'agit de tout ce qui précède app.run().

Recommandations d'AWS :

  • créez des objets, et pas seulement des modules importés, y compris les outils locaux qui s'appuient sur des bibliothèques externes ;
  • créez vos clients, par exemple boto3 : la résolution des points de terminaison et des identifiants revient avec le snapshot, et les sockets se reconnectent au premier appel. Certains autres clients réseau essaient d'abord un socket périmé, ce qui ajoute plusieurs centaines de millisecondes ; fermez donc leurs connexions avant le snapshot ;
  • gardez les données statiques en mémoire : prompts, configuration, petits index. Il ne suffit pas de lire un fichier, il faut stocker le résultat dans une variable ;
  • lancez les assistants de longue durée, comme un serveur de langage, et communiquez avec eux par pipe ou socket, afin que le sous-processus ne relise pas les binaires de l'image à chaque session ;
  • copiez dans /dev/shm les fichiers qui ne peuvent pas rester en mémoire, comme le compilateur tsc ;
  • livrez du bytecode compilé : définissez UV_COMPILE_BYTECODE=1 ou utilisez pip install --compile.

Si l'agent a besoin de gros fichiers, d'une CLI ou d'un navigateur, et ne peut pas les garder dans son propre processus, AgentCore prend désormais en charge les hooks de construction : ils chargent et « préchauffent » ces ressources pendant la construction du snapshot. Pour les grandes données de référence lues de manière sélective, AWS recommande de monter Amazon S3 Files ou Amazon EFS via un point d'accès (mode VPC requis).

Comment mesurer, et à quel coût

La latence d'une application d'agent se compose du temps de la plateforme (préparation de la session) et du temps de votre code (appels au modèle, outils, sous-agents, réponse en flux). Ces deux parties se corrigent différemment : il faut donc d'abord identifier ce qui domine. Dans CloudWatch (espace de noms AWS/Bedrock-AgentCore), on dispose de Latency, c'est-à-dire le délai jusqu'au premier octet, et de OverheadLatency, c'est-à-dire la part de la plateforme. Le temps de votre code correspond à la différence entre les deux. Le temps d'initialisation sur V2 n'apparaît pas dans les requêtes : il faut le journaliser vous-même, une fois, avant app.run().

Regardez les percentiles P90 et P99, ou la moyenne tronquée TM90, qui écarte les 10 % de requêtes les plus lentes : une moyenne simple masque les cas lents. Testez avec une proportion réaliste de nouvelles sessions, et non sur quelques lancements juste après le déploiement.

Il existe aussi un compromis : tout ce que vous gardez en mémoire alourdit le snapshot, et ce poids est payé à chaque session. Mesurez donc le démarrage complet de la session avant et après vos modifications, pour vérifier que la latence n'est pas simplement passée du gestionnaire à la restauration. Si l'agent appelle surtout un modèle dans le cloud, V2 et une initialisation soignée suffisent en général. Pour les chats interactifs et la voix, AWS propose en plus de lancer la session en arrière-plan dès que l'utilisateur ouvre l'application ou la fenêtre de chat. La description de cette technique dans le document source est succincte, donc nous n'avons pas plus de détails à en donner ici.

Dossier

Questions clés sur cet article

Comment V2 démarre une session?

Chaque session dans AgentCore s'exécute dans sa propre micro-machine virtuelle isolée. En V1, à chaque nouveau lancement, la plateforme tirait l'image du conteneur depuis Amazon ECR, démarrait le conteneur et exécutait votre code d'initialisation. L'essentiel du temps partait dans le chargement de l'image, si bien que le démarrage à froid augmentait avec sa taille. En V2, ce travail est effectué une seule fois, lors de la création ou de la mise à jour du runtime.

Que sait-on sur Quoi déplacer dans l'initialisation ?

Le conseil classique contre le démarrage à froid consiste à importer paresseusement et à garder une initialisation courte. Avec V2, c'est l'inverse. L'initialisation est exécutée une seule fois, lors de la construction du snapshot, alors que le travail reporté dans le gestionnaire de requêtes est payé par chaque nouvelle session. AWS désigne par « initialisation » tout ce que l'agent fait avant que /ping réponde « healthy » ; dans le SDK Python, il s'agit de tout ce qui précède app.run().

Comment mesurer, et à quel coût?

La latence d'une application d'agent se compose du temps de la plateforme (préparation de la session) et du temps de votre code (appels au modèle, outils, sous-agents, réponse en flux). Ces deux parties se corrigent différemment : il faut donc d'abord identifier ce qui domine. Dans CloudWatch (espace de noms AWS/Bedrock-AgentCore), on dispose de Latency, c'est-à-dire le délai jusqu'au premier octet, et de OverheadLatency, c'est-à-dire la part de la plateforme.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
Qu'en pensez-vous ?
Chargement des commentaires…