NVIDIA publie SkillEvaluator : plus de 500 règles traquent les erreurs dans les compétences des agents IA
NVIDIA a publié SkillEvaluator, un outil open source qui vérifie les « compétences » des agents IA, ces dossiers d'instructions utilisés avec Claude Code ou Codex. Plus de 500 règles repèrent les erreurs de formatage, les secrets divulgués et les scripts dangereux. Un contrôle rapide, sans clé API, attribue une note sur 100 avec un seuil de 70. Certaines erreurs sont encore plus banales : une description de 1 028 caractères empêche Copilot CLI de charger la compétence, alors que sa limite est de 1 024. Mieux vaut donc exécuter ces compétences en CI, comme on passe du code dans un linter.
Traité par IA depuis GitHub Trending AI ; édité par Hamidun News
Une « compétence » pour agent IA est un simple dossier d'instructions et de fichiers d'appui, rattaché à Claude Code, Codex ou Copilot CLI. Par exemple, une compétence intitulée « comment rédiger les rapports selon notre modèle ». En général, ces dossiers se vérifient à l'œil, et les erreurs n'apparaissent que lorsque l'agent se met à « se comporter bizarrement ».
NVIDIA a publié sur GitHub un outil open source, SkillEvaluator, qui comble cette lacune. Il comprend plus de 500 règles statiques, c'est-à-dire des contrôles automatiques prêts à l'emploi portant sur le formatage, la version, la licence, les données personnelles, les caractères Unicode suspects et les scripts. Il mesure aussi si une compétence aide réellement l'agent.
Le projet est entré dans les tendances de GitHub et a recueilli 133 étoiles en une journée.
Trois niveaux de contrôle
L'outil fonctionne comme une échelle, et chaque niveau peut être lancé séparément.
Le premier niveau répond à deux questions : la compétence est-elle sûre et correctement formatée ? Ce sont ici les plus de 500 règles et modèles de détection qui entrent en jeu. Des scanners externes sont intégrés : Gitleaks (recherche de secrets divulgués), Bandit (vulnérabilités en Python), ainsi que Semgrep, en option. Pour ce premier niveau, un mode sans modèle de langage existe : skillevaluator tier1 ./my-skill --no-llm.
Le deuxième niveau recherche les doublons et les chevauchements. Si un répertoire contient plusieurs compétences, l'outil les compare entre elles et indique où les instructions se répètent. Cette comparaison nécessite un fichier de catalogue. Si elle n'a pas pu aboutir, le rapport le signale honnêtement.
Le troisième niveau est le plus lourd : l'évaluation en conditions réelles de l'agent. L'outil lance l'agent dans un bac à sable (Docker par défaut) sur des tâches, avec et sans la compétence, puis compare les résultats. On voit ainsi si la compétence apporte un gain réel, et pas seulement un rendu soigné. Il faut pour cela un accès à un modèle, un agent pris en charge et un jeu de tâches. Ce jeu peut être généré automatiquement ou préparé à la main, puis vérifié manuellement.
Vérifier si l'agent charge la compétence
La fonction la plus concrète s'appelle harness-check. Une compétence peut être bien écrite, mais tel agent précis ne la verra tout simplement pas. Dans l'exemple de la documentation, la commande skillevaluator harness-check ./my-skill produit ce type de rapport. Codex tronque la description à 1 021 caractères. Claude Code ne parcourt pas le dossier .agents/skills. Copilot CLI ne charge pas la compétence, car la description occupe 1 028 unités UTF-16 pour une limite de 1 024, soit 4 de trop. Au final, 2 profils d'agent sur 6 n'ont pas chargé la compétence. C'est une erreur typique : le texte paraît correct, mais l'agent ignore que la compétence existe.
Mode d'emploi
L'installation est simple : pip install skillevaluator ou uv tool install, avec Python 3.12 à 3.14. La vérification rapide skillevaluator quality-check ./my-skill ne demande ni clé, ni scanner, ni GPU, ni Docker. Elle délivre une note sur 100 avec le détail des remarques, le seuil de réussite par défaut étant de 70. Il ne s'agit que de la qualité statique : la sécurité et l'effet réel doivent être vérifiés séparément.
Pour les trois niveaux, NVIDIA propose une clé gratuite NVIDIA Build, mais uniquement aux membres du programme NVIDIA Developer Program et avec des quotas. La commande skillevaluator validate ./my-skill avec le fournisseur nv_build lance l'ensemble. Il est recommandé d'exécuter auparavant skillevaluator doctor : il vérifie la préparation de l'environnement, sans garantir que la sortie du modèle sera conforme.
L'outil peut être intégré à un dépôt. L'assistant de configuration pour GitHub et GitLab ouvre une pull request avec un workflow prêt à l'emploi, et les contrôles s'exécutent sur les compétences modifiées, en laissant rapports et commentaires dans la PR.
Limites
NVIDIA indique clairement que le projet est soutenu par la communauté, sans SLA ni support d'entreprise. Les notes peuvent varier d'une version à l'autre, et l'installation tire des composants open source tiers dont il faut lire les licences à l'avance. Le troisième niveau dépend de la qualité des tâches de test : un jeu généré automatiquement en couvre peu.
Conclusion pratique pour les équipes qui tiennent des bibliothèques internes de compétences pour agents : commencez par les contrôles gratuits quality-check et harness-check en CI. C'est peu coûteux et cela détecte les erreurs les plus gênantes. L'évaluation lourde, avec exécution de l'agent, ne vaut la peine d'être activée que pour les compétences dont dépend une part importante du travail.
- 21 nov. 2026Anthropic baisse de 20 % le prix de Claude Fable 5.2 : sur le code, elle fait presque jeu égal avec Opus 5.5
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
- 21 nov. 2026Claude Opus 5.5 complète le jeu d'horreur Dimension 9 à partir des 15 salles de son auteur
- 21 nov. 202622 agents Claude ont cherché pendant six semaines des réponses sur les trous noirs — et ont résolu deux problèmes
Questions clés sur cet article
Que sait-on sur Trois niveaux de contrôle ?
L'outil fonctionne comme une échelle, et chaque niveau peut être lancé séparément. Le premier niveau répond à deux questions : la compétence est-elle sûre et correctement formatée ? Ce sont ici les plus de 500 règles et modèles de détection qui entrent en jeu. Des scanners externes sont intégrés : Gitleaks (recherche de secrets divulgués), Bandit (vulnérabilités en Python), ainsi que Semgrep, en option. Pour ce premier niveau, un mode sans modèle de langage existe : skillevaluator tier1 ./my-skill --no-llm.
Que sait-on sur Vérifier si l'agent charge la compétence ?
La fonction la plus concrète s'appelle harness-check. Une compétence peut être bien écrite, mais tel agent précis ne la verra tout simplement pas. Dans l'exemple de la documentation, la commande skillevaluator harness-check ./my-skill produit ce type de rapport. Codex tronque la description à 1 021 caractères. Claude Code ne parcourt pas le dossier .agents/skills. Copilot CLI ne charge pas la compétence, car la description occupe 1 028 unités UTF-16 pour une limite de 1 024, soit 4 de trop.
Que sait-on sur Mode d'emploi ?
L'installation est simple : pip install skillevaluator ou uv tool install, avec Python 3.12 à 3.14. La vérification rapide skillevaluator quality-check ./my-skill ne demande ni clé, ni scanner, ni GPU, ni Docker. Elle délivre une note sur 100 avec le détail des remarques, le seuil de réussite par défaut étant de 70. Il ne s'agit que de la qualité statique : la sécurité et l'effet réel doivent être vérifiés séparément.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.