ASTC compresse le contexte des agents sans entraînement et réduit les Attention Pairs de 50,68%

Les scénarios d'agents longs butent sur la croissance du contexte : à chaque étape, l'appel suivant au modèle hérite des instructions système, des décisions précédentes, des sorties d'outils, du code et des retours de l'environnement. Traiter le contexte complet coûte cher, et les faits utiles doivent rivaliser avec des déchets devenus obsolètes. Les auteurs d'un article publié sur arXiv présentent Agentic Soft-Token Compression (ASTC), une méthode qui compresse ce contexte à l'intérieur du modèle et ne nécessite pas d'entraîner un compresseur séparé. Selon eux, la qualité des tâches reste au niveau du modèle non compressé, voire au-dessus, tandis que le nombre d'Attention Pairs (paires « requête — clé » calculées par l'attention) sur l'ensemble d'une exécution diminue jusqu'à 50,68%.

Pourquoi la compression classique met les agents en défaut

Les auteurs distinguent la compression du contexte d'un agent de la simple synthèse de texte. L'historique mêle du texte que l'on peut condenser sans dommage et des valeurs exactes : chemins, identifiants, sommes de contrôle, arguments d'API. Remplacer un seul caractère dans une telle valeur rend l'action suivante invalide. Par ailleurs, une information sans importance à un instant donné peut devenir décisive quelques étapes plus tard : une évaluation d'importance faite une seule fois n'est donc pas fiable.

Les méthodes existantes tranchent avant que le modèle ait traité le contexte. Les méthodes dures suppriment ou réécrivent le texte, au risque de perdre des valeurs exactes. Les méthodes souples conservent des représentations continues, mais exigent des encodeurs entraînés séparément, et leur objectif peut diverger de ce que le modèle réel a déjà assimilé et de ce dont il aura besoin plus tard. Les auteurs ont d'abord tenté d'entraîner un compresseur intégré, composé de blocs d'attention et de MLP, par on-policy distillation. La préparation s'est révélée coûteuse et le résultat faible ; ajouter des couches de compression n'a pas corrigé la situation.

L'analyse de trajectoires issues de sessions d'utilisateurs réels a montré que les observations produites par les outils occupent le plus de place. Parmi les systèmes cités dans l'article figurent Fable 5, GPT-5.6 Sol et Kimi K3. Les sorties d'outils sont donc devenues la cible principale de la compression.

Comment ASTC exploite l'état GDN

La méthode vise les modèles hybrides, où une Gated Delta Network (couche récurrente à mémoire associative) alterne avec de l'attention complète. La mise à jour d'une telle couche produit un signal de nouveauté : si la valeur d'entrée est déjà bien représentée dans l'état, la correction est faible, alors qu'une information nouvelle ou contradictoire modifie la mémoire plus fortement. Le modèle indique ainsi lui-même ce qu'il a déjà assimilé.

Les premières couches lisent tout le nouveau bloc. ASTC sélectionne ensuite les positions à la fois prévisibles à partir de l'état précédent et encore lisibles dans l'état à la fin de l'observation. Les valeurs exactes reconnues et la frontière de l'action sont protégées par un masque et restent des tokens ordinaires. Les positions retenues sont réparties en groupes causaux, les valeurs aberrantes en sont retirées, puis les états cachés restants sont moyennés en un seul soft token dans l'espace du modèle. Les groupes d'une seule position et les distorsions trop fortes sont écartés : ces positions restent des tokens d'origine.

Après la frontière de compression, le cache contient une séquence mixte plus courte. Il est réutilisé au décodage et aux étapes suivantes de l'agent : le gain ne se limite donc pas à un seul prefill. La compression doit toutefois être rentable : l'attention économisée doit dépasser le coût de la sélection et du pooling.

Ce que montrent les mesures et où sont les limites

Résultats annoncés : sur différentes tâches longues, ASTC maintient une qualité proche de celle du modèle non compressé, voire supérieure, et réduit les Attention Pairs de bout en bout jusqu'à 50,68%. Sans la protection des valeurs exactes, la précision chute fortement. Le critère fonctionne aussi au-delà des observations d'outils : lorsque l'historique entier est compressé, la précision du modèle non compressé est atteinte avec 24,52% d'accès KV en moins en phase de decode. Le gain est également démontré sur le contexte long et la correction de code. Mesurée en Attention Pairs par tâche réussie, la méthode devance les compresseurs entraînés de 15,4 à 103,7 fois, tout en affichant une meilleure précision.

Les limites sont nombreuses. La méthode s'appuie sur des modèles hybrides GDN et ne convient donc pas directement aux transformeurs purs. La reconnaissance des valeurs exactes peut laisser passer une partie des champs. Les garanties théoriques, notamment les conditions dans lesquelles les soft tokens déforment la prédiction moins que des tokens durs de même longueur, dépendent d'hypothèses que les seuils de sélection ne garantissent pas. La métrique Attention Pairs compte les calculs d'attention, et non le temps ni l'argent dépensés sur du matériel réel : l'économie finale doit donc être vérifiée sur sa propre pile technique.

Enseignement pratique pour les équipes qui construisent des agents longs sur des architectures hybrides : la compression peut s'appuyer sur les signaux internes du modèle, sans consacrer de ressources à un compresseur séparé.