SkillMem stocke une compétence d'agent IA en 9,6 Ko et accélère l'équipe d'agents d'un facteur 4,2

Les équipes de plusieurs agents IA résolvent les tâches mieux qu'un modèle seul : l'un planifie, l'autre critique, le troisième affine. Pour éviter que les agents ne répètent les mêmes erreurs, on leur donne des « compétences », c'est-à-dire de courtes recettes du type « vérifie les hypothèses » ou « recoupe le résultat intermédiaire ». Des chercheurs du Rensselaer Polytechnic Institute et d'IBM ont montré comment stocker ces compétences à raison de 9,6 kilooctets chacune, sans perdre en vitesse.

Leur méthode s'appelle SkillMem. Sur le modèle Qwen3-4B, elle fait passer la précision sur GSM8K (problèmes de mathématiques de niveau scolaire) de 72,40% à 89,90%, et sur GPQA-Diamond (questions difficiles de physique, de chimie et de biologie, de niveau expert) de 17,97% à 35,63%. Ces chiffres sont comparés à ceux du système de référence LatentMAS, où les agents communiquent par vecteurs latents et ne s'écrivent pas de texte.

Pourquoi une compétence en texte annule le gain de la communication latente

Les systèmes multi-agents latents sont plus rapides que les systèmes classiques, car les agents ne génèrent pas de messages intermédiaires en langage naturel. Ils se transmettent les états internes du modèle, et seul le dernier agent produit une réponse textuelle.

Mais la compétence est généralement insérée dans le prompt sous forme de texte brut. À chaque utilisation, le modèle fait repasser ces tokens à travers lui. Sur une longue série de requêtes, ce « préremplissage » (prefill) grignote une partie de la vitesse qui était justement l'objectif de l'approche.

Les alternatives ne sont pas plus commodes :

• Un cache clés-valeurs (KV) par compétence évite de repasser le texte dans le modèle, mais il conserve les états de chaque token à chaque couche. Son volume croît avec la longueur de la compétence et la profondeur du modèle. • Un adaptateur LoRA par compétence est un ensemble de corrections appliquées aux poids. Il est plus léger que le modèle entier, mais une centaine de compétences suffit à le faire nettement gonfler.

Comment une compétence devient un petit ensemble de vecteurs

SkillMem stocke chaque compétence sous la forme d'un petit ensemble de vecteurs entraînés, hors du modèle. Le modèle reste gelé. À chaque requête, le système trouve la compétence adaptée : les descriptions des compétences sont encodées par le même modèle, et la sélection se fait par similarité cosinus avec la requête. La mémoire de la compétence est ensuite accessible à tous les agents de la chaîne.

Donner les mêmes vecteurs à tous les rôles ne suffit pas : le planificateur et le critique n'ont pas besoin de la compétence pour les mêmes raisons. C'est pourquoi un « lecteur » à cross-attention est placé dans plusieurs couches du modèle. L'état caché de l'agent forme une requête vers la mémoire, et la mémoire renvoie les éléments utiles. Le vecteur de rôle est dérivé de l'instruction système de l'agent. Une porte sigmoïde détermine l'intensité avec laquelle le contenu lu est injecté. Les paramètres du lecteur sont communs à toutes les compétences et à tous les rôles : chaque compétence ne représente donc que sa propre mémoire.

L'entraînement de la mémoire sort de l'ordinaire. On ne lui demande pas de reconstituer le texte de la compétence. On prend plutôt la réponse du modèle générée avec la compétence en texte, et on compare la probabilité de chaque token avec et sans la compétence. C'est cela, l'effet de la compétence. La mémoire, avec son lecteur, est entraînée à reproduire ce même décalage. Les tokens pour lesquels la compétence aide réellement reçoivent un poids plus élevé. Là où la compétence n'apporte rien, le modèle est maintenu proche de son comportement d'origine.

Les auteurs ont obtenu les compétences textuelles en comparant des résolutions réussies et ratées d'une même tâche par une équipe d'agents. Mais il est aussi possible de fournir en entrée une compétence toute prête, rédigée à la main.

Ce que montrent les expériences sur Qwen3

Les tests ont porté sur six benchmarks de raisonnement, de questions-réponses et de génération de code, avec des modèles Qwen3 de 4 à 14 milliards de paramètres. La configuration de la mémoire est unique pour toutes les tailles. Les auteurs écrivent que ce sont les petits modèles qui gagnent le plus, et que la vitesse d'inférence latente se maintient quelle que soit la taille.

Les chiffres d'efficacité :

• 9,6 Ko par compétence, vecteur de recherche inclus. • Accélération de l'inférence de bout en bout de 4,23 fois par rapport à une équipe d'agents communiquant par texte (TextMAS). • Accélération de 1,63 fois par rapport à LatentMAS, où les compétences sont fournies sous forme de texte. • Pour une bibliothèque de 100 compétences, le volume total, lecteur commun compris, est 38,3 fois plus petit que celui du KV-cache et 86,6 fois plus petit que celui des adaptateurs LoRA.

Pour l'approche LoRA, les auteurs ont utilisé comme point de comparaison la méthode S2L, qui stocke les compétences dans les paramètres du modèle.

Ce que cela change pour les ingénieurs

Pour ceux qui construisent des systèmes agentiques sur de petits modèles ouverts, l'idée est pratique. Les compétences peuvent être conservées comme une bibliothèque de minuscules fichiers, chargés à la demande, sans gonfler le contexte ni accumuler des gigaoctets d'adaptateurs. Plus la bibliothèque est grande, plus l'économie est sensible.

Il y a aussi des limites. Chaque compétence doit être compilée une fois : il faut générer des réponses-exemples et entraîner la mémoire. La méthode repose sur une architecture multi-agents latente et n'a été testée que sur la famille Qwen3. Un fort gain sur un modèle 4B ne signifie pas que l'effet aura la même ampleur sur de plus gros modèles. Mais la direction est claire : les connaissances procédurales des agents peuvent être stockées sous forme de mémoire compacte plutôt que de long texte dans le prompt.