Anthropic lance Message Threads : démarrage des réponses 35 % plus rapide lors des longues sessions

Tous ceux qui ont conçu un agent doté d’un long contexte connaissent ce problème : la session grossit et chaque nouvelle étape commence par une pause. Le modèle n’a encore rien répondu que des centaines de milliers de tokens d’historique ont déjà transité sur le réseau. Anthropic a lancé Message Threads précisément pour supprimer cette pause.

Ce qui change

Auparavant, le fonctionnement était simple, mais peu pratique. À chaque étape, le client reconstituait l’intégralité de la conversation — prompt système, résultats des outils et échanges précédents — puis l’envoyait en bloc. Plus l’historique était volumineux, plus la latence jusqu’au premier token augmentait.

Les requêtes adressées à l’API disposent désormais d’un paramètre thread. Le tableau de données complet n’est transmis qu’une seule fois. Ensuite, le client envoie uniquement les nouveaux messages et l’identifiant de la réponse précédente. Entre deux requêtes, Anthropic conserve le contexte sous forme chiffrée dans la mémoire vive. Le fil reste actif pendant cinq minutes après la dernière requête ; passé ce délai, l’historique doit être renvoyé.

Selon l’entreprise, pour les agents et les sessions comptant entre 500 000 et un million de tokens, l’attente avant le début de la réponse diminue de 35 % en moyenne. La bêta publique est disponible sur la plateforme Claude ainsi que dans AWS, Microsoft Foundry et Google Cloud.

À quoi cela ressemble en pratique

Imaginez un agent de programmation qui analyse un grand dépôt. Il a lu 40 fichiers, exécuté des tests et récupéré des journaux ; son contexte atteint désormais 600 000 tokens. Auparavant, chaque nouvel appel d’outil imposait de retransmettre l’ensemble de ces 600 000 tokens. Désormais, l’agent envoie un bref message du type « voici le résultat du dernier test », accompagné de l’identifiant de la réponse précédente. Le réseau et la préparation de la requête sont moins sollicités, et l’utilisateur obtient la réponse plus tôt.

Précision importante : cela ne change rien à la facturation. Le modèle traite toujours l’intégralité du volume, et les tokens sont donc comptabilisés comme auparavant. Il s’agit d’une optimisation de la latence, pas d’un moyen de réduire les dépenses. Si votre principal problème est le coût, tournez-vous vers la mise en cache des prompts et la compression du contexte, plutôt que vers Threads.

Limites et marche à suivre

Le principal piège réside dans cette fenêtre de cinq minutes. Elle suffit pour un agent interactif fonctionnant en continu. Dans une conversation où l’utilisateur part déjeuner, le fil expirera et la première requête après la pause sera de nouveau lourde. Le code client doit donc pouvoir reconstituer l’historique complet : conservez-en une copie de votre côté et utilisez thread comme accélérateur, non comme source de vérité.

Autre point : la fonctionnalité est en bêta. N’en faites pas votre unique chemin d’exécution avant d’avoir vérifié son comportement en cas d’expiration du fil et d’erreurs. Une approche raisonnable consiste à activer thread sur un scénario agentique, à mesurer le délai jusqu’au premier token pendant de vraies sessions, puis à comparer les résultats au gain annoncé de 35 %. Il s’agit d’une moyenne ; sur les conversations courtes, l’amélioration sera plus modeste.

Autres actualités connexes

D’autres informations publiées le même jour méritent également l’attention. Selon le FT, Nvidia demanderait officieusement aux opérateurs de centres de données de veiller à ce que les clients chinois n’occupent pas plus de 49 % des capacités louées dans le cadre des nouveaux contrats. Si vous louez des GPU auprès de petits fournisseurs cloud, attendez-vous à des questions sur la composition de votre clientèle et à d’éventuels changements de disponibilité.

OpenAI a porté à 30 000 dollars la prime de base accordée pour les vulnérabilités critiques dans ChatGPT et Codex, tandis que le montant maximal, bonus compris, atteint 172 000 dollars. Pour les équipes qui bâtissent des produits sur ces services, le message est clair : la surface d’attaque fait l’objet d’un examen sérieux, et vous devriez en faire autant.