Les compétences des agents IA ne sont pas universelles : les modèles faibles ont besoin de leur propre version des instructions

Pourquoi les modèles faibles échouent même lorsqu'ils disposent de l'instruction

Un groupe de chercheurs de l'Université de l'Académie chinoise des sciences, de l'Université de Californie à Santa Cruz, de l'Université nationale de Singapour et de l'Institut de génie logiciel de l'Académie chinoise des sciences a mis en lumière un problème peu évident des agents IA auto-apprenants : les instructions que l'agent rédige lui-même à partir des tâches accomplies (les « compétences » ou skills) n'aident pas tous les modèles de la même manière.

L'idée de l'auto-évolution du harnais (harness self-evolution) est que l'agent, sans toucher à ses poids, accumule de l'expérience sous forme d'instructions textuelles et s'y réfère lors de tâches similaires ultérieures. Sur trois référentiels et sept modèles de niveaux différents, l'équipe a identifié 103 paires « tâche + compétence » où l'effet de l'instruction diverge radicalement : grâce à elle, GPT-5.6-luna gagne 31,1 points, tandis que le modèle faible Gemma-4-E4B en perd 8,8 par rapport à une absence totale d'instruction. L'instruction n'est donc pas simplement inutile pour le modèle faible — elle le pénalise activement.

Les auteurs ont examiné les journaux des exécutions ratées et ont constaté que le problème ne venait pas d'un manque d'information. Dans 86 % des cas, le modèle faible violait une exigence explicitement écrite dans la compétence — il n'arrivait simplement pas à s'orienter correctement. L'analyse des échecs a révélé quatre scénarios récurrents :

• Problèmes avec les outils — l'agent tente d'appeler un outil inexistant, prend un fichier pour un outil, ou s'arrête après une erreur sans essayer de la contourner.
• Perte du contexte de la tâche — l'agent se concentre sur les exemples et la documentation de la compétence au lieu de la tâche elle-même, ou enregistre le résultat au mauvais endroit.
• Suivi incomplet des instructions — l'agent accomplit plusieurs étapes et produit un résultat, mais ne satisfait qu'une partie des exigences explicitement formulées dans la compétence.
• Absence de vérification — des erreurs subsistent dans la réponse finale parce que l'agent ne relit pas et ne recalcule pas le résultat par une méthode différente.

La méta-compétence comme modèle universel de réécriture des instructions

Pour résoudre ce problème, les chercheurs ont utilisé le modèle Claude-Opus-5 comme assistant pour élaborer une « méta-compétence » — un protocole de réécriture fixe, indépendant de la tâche concrète. Il impose de : séparer dans l'instruction les véritables outils des documents, décrire à l'avance les vérifications d'environnement et les erreurs typiques ; commencer la compétence par la formulation de la tâche de l'utilisateur, les limites des modifications autorisées et le chemin d'enregistrement du résultat, en séparant clairement cela des exemples ; formuler chaque exigence avec une méthode explicite de vérification de son respect ; et terminer la compétence par une étape distincte d'auto-contrôle — relire le résultat, le recalculer par une autre méthode, le comparer à un seuil et répéter si nécessaire.

L'effet a été testé selon deux modes. Le premier, sans journaux d'exécution : le puissant réécrivain Kimi-K3 ne recevait que la tâche, la compétence originale et la liste des outils disponibles pour l'exécutant, et réécrivait la compétence selon le méta-modèle. Résultat : trois exécutants faibles (Qwen3.6-flash, Gemma-4-E4B, Qwen3.5-9B) ont progressé de 5,1 à 14,1 points par rapport à l'instruction originale. À titre de comparaison : si l'on donne au même Kimi-K3 simplement la phrase « réécris cela pour que ça fonctionne pour tous les modèles » sans méta-compétence, le gain est nettement plus faible et instable — Qwen3.5-9B a même légèrement reculé. La méta-compétence ajoute encore 5,1 à 6,0 points — soit plus de la moitié du gain final.

L'auto-apprentissage en boucle : le modèle réécrit lui-même son instruction

Le second mode est un cycle réaliste de cinq tours, où le modèle exécute lui-même la tâche et réécrit sa propre instruction à partir de la trace d'exécution et de la réponse du vérificateur. Les résultats y sont révélateurs : sans méta-compétence, la réécriture autonome n'aide presque pas les modèles faibles et donne des résultats instables — Qwen3.5-9B atteint un pic au troisième tour puis retombe presque au niveau de départ, tandis que le modèle le plus faible, Gemma-4-E4B, reste en dessous de la ligne de base à tous les tours.

Avec la méta-compétence, le tableau change : les sept modèles testés — de Gemma-4-E4B au très performant Kimi-K2.5 — dépassent au cinquième tour la variante sans méta-compétence de 2,0 à 5,1 points.

Conclusion pratique pour les équipes qui développent des agents dotés d'instructions auto-apprenantes : il ne faut pas supposer qu'une même compétence est également utile pour différents modèles au sein d'un même système — qu'il s'agisse d'un exécutant utilisant un modèle phare puissant ou d'un exécutant basé sur un modèle ouvert compact. Si un projet utilise des modèles de différents niveaux, les instructions devraient être adaptées séparément pour chacun plutôt que copiées mot pour mot — sinon, le modèle faible risque d'afficher un résultat pire que s'il n'avait eu aucune instruction du tout.