Les skills d'agents IA pénalisent les modèles faibles : un méta-skill regagne jusqu'à 14 points

Les skills qui améliorent un modèle puissant peuvent dégrader les résultats d'un modèle faible. C'est la conclusion d'un groupe de dix auteurs mené par Zhihao Yang, dans un article consacré à l'auto-évolution du « harness » des agents LLM. Sur sept modèles et trois benchmarks, les chercheurs ont identifié 103 paires « tâche — skill » où le skill fait gagner 31,1 points à GPT-5.6-luna, mais en fait perdre 8,8 à Gemma-4-E4B. La solution proposée, l'adaptation des skills à l'exécutant, a apporté aux modèles faibles un gain de 5,1 à 14,1 points.

Un même skill, deux effets opposés

L'auto-évolution du harness répond à un besoin pratique. L'agent accumule de l'expérience au fil des tâches et la consigne sous forme de skills, c'est-à-dire d'instructions textuelles, de procédures et de vérifications, sans toucher aux poids du modèle. Cette approche coûte moins cher que le fine-tuning et les développeurs d'agents de code l'utilisent largement.

Sa prémisse centrale est que le modèle est capable d'exécuter ce que le skill décrit. Les auteurs l'ont testée et constatent qu'elle ne se vérifie pas toujours. L'effet d'un skill dépend des capacités de l'exécutant. Un modèle puissant suit une longue instruction en plusieurs étapes et en tire un gain. Un modèle faible perd le fil, appelle mal les outils et fait dérailler le reste du plan.

La découverte la plus inattendue concerne les causes des échecs. Dans 86 % des exécutions ratées des modèles faibles, l'exigence violée figurait déjà dans le skill. Ce n'est pas un manque de connaissances sur ce qu'il fallait faire qui posait problème au modèle. Il lui manquait la capacité de mener l'instruction jusqu'à son exécution.

Le méta-skill : un diagnostic en quatre types de pannes

C'est de cette observation qu'est née l'idée d'adapter les skills. Il s'agit de reformuler un skill existant pour qu'un modèle donné l'exécute plus facilement. Pour cela, les auteurs ont réparti les défaillances en quatre catégories :

• erreurs d'exécution des outils ; • erreurs de gestion du contexte ; • non-respect des instructions ; • erreurs de vérification.

Ils ont rassemblé ces diagnostics dans un méta-skill figé, c'est-à-dire une instruction qui explique comment réécrire d'autres instructions. Il sert de guide pour l'adaptation à l'intérieur de la boucle d'auto-évolution.

Le méta-skill a d'abord été testé avec un réécrivain externe. Grâce à lui, Kimi-K3 a adapté les skills sans accès aux résultats d'exécution, à partir du seul texte. Trois exécutants faibles ont progressé de 5,1 à 14,1 points par rapport aux skills d'origine.

Cinq cycles d'auto-évolution

L'adaptation a ensuite été intégrée à une boucle complète de cinq cycles. Dans cette boucle, chaque modèle corrige lui-même son skill à partir des trajectoires d'exécution et du retour du vérificateur. Sept exécutants ont participé, de Gemma-4-E4B à Kimi-K2.5. Le méta-skill a systématiquement amélioré le résultat final de 2,0 à 5,1 points par rapport à la même boucle sans lui.

Les chiffres clés de l'étude :

• 7 modèles exécutants, 3 benchmarks ; • 103 paires « tâche — skill » à effet divergent ; • +31,1 points pour GPT-5.6-luna et −8,8 pour Gemma-4-E4B sur ces paires ; • 86 % des échecs des modèles faibles portent sur des exigences déjà inscrites dans le skill ; • +5,1 à +14,1 points grâce à l'adaptation externe des skills par Kimi-K3, pour trois exécutants faibles ; • +2,0 à +5,1 points grâce au méta-skill dans la boucle de cinq cycles ; • 24 pages, 12 figures, 4 tableaux dans l'article.

Ce qu'il faut changer dans les pipelines d'agents

Pour les équipes qui construisent des agents sur un mélange de modèles, la conclusion est directe. On ne peut pas copier une bibliothèque de skills d'un exécutant à l'autre sans vérification. Un skill mis au point sur un modèle phare peut nuire lorsqu'on le transfère vers un petit modèle comme Gemma-4-E4B. Avant le déploiement, mieux vaut le tester sur l'exécutant cible et le comparer à la version sans skill.

Le deuxième point pratique concerne le coût. L'adaptation fonctionne même sans traces d'exécution : il suffit d'un modèle réécrivain puissant et du méta-skill. C'est un moyen commode de préparer des skills pour des modèles locaux peu coûteux, plus rentables à faire tourner. Le troisième point touche au diagnostic. Les quatre catégories de défaillances (outils, contexte, respect des instructions, vérification) peuvent servir de check-list pour analyser les échecs d'un agent et pour écrire des skills de zéro. Les formulations exactes du méta-skill sont publiées sur la page du projet, et le preprint est disponible sur arXiv sous le numéro 2610.33024.