Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуGitHub Trending AI→ оригинал

NVIDIA открыла SkillEvaluator: 500+ правил ловят ошибки в навыках ИИ-агентов

NVIDIA выложила открытый SkillEvaluator — проверку «навыков» ИИ-агентов: так называют папки с инструкциями для Claude Code или Codex. Свыше 500 правил ищут ошибки в оформлении, утёкшие секреты и опасные скрипты, а быстрая проверка без API-ключа ставит оценку из 100 при пороге 70. Бывает и хуже: описание на 1 028 символов Copilot CLI не загрузит, лимит там 1 024. Поэтому навыки стоит гонять через CI, как код через линтер.

AI-обработка оригинала GitHub Trending AI; редакция Hamidun News
NVIDIA открыла SkillEvaluator: 500+ правил ловят ошибки в навыках ИИ-агентов
Источник: GitHub Trending AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникGitHub Trending AI ↗
Главный редактор
Harness-checkв примере 2 из 6 профилей агентов не загрузили навык
Ключевой факт #2Tier 3 запускает агента в Docker с навыком и без, сравнивая результат
Нужен Python 3.12–3.14pip install skillevaluator

«Навык» для ИИ-агента — это обычная папка с инструкциями и вспомогательными файлами, которую подключают к Claude Code, Codex или Copilot CLI. Например, навык «как оформлять отчёты по нашему шаблону». Проверяют такие папки обычно на глаз, и ошибки вскрываются только тогда, когда агент начинает «странно себя вести». NVIDIA выложила на GitHub открытый инструмент SkillEvaluator, который закрывает этот пробел. В нём более 500 статических правил: это готовые автоматические проверки оформления, версии, лицензии, персональных данных, подозрительных Unicode-символов и скриптов. Ещё он измеряет, помогает ли навык агенту на самом деле. Проект попал в GitHub Trending и за день набрал 133 звезды.

Три уровня проверки

Инструмент устроен как лесенка, и каждый уровень можно запускать отдельно.

Первый уровень отвечает на вопрос, безопасен ли навык и правильно ли он оформлен. Здесь работают те самые 500+ правил и шаблонов обнаружения. Подключены внешние сканеры Gitleaks (поиск утёкших секретов) и Bandit (уязвимости в Python), а также необязательный Semgrep. Для первого уровня есть режим без языковой модели: skillevaluator tier1 ./my-skill --no-llm.

Второй уровень ищет повторы и пересечения. Если в каталоге несколько навыков, инструмент сравнивает их между собой и показывает, где инструкции дублируют друг друга. Для этого нужен файл каталога. Если сравнение не состоялось, отчёт честно об этом сообщает.

Третий уровень самый тяжёлый: живая оценка агента. Инструмент запускает агента в песочнице (по умолчанию в Docker) на задачах с навыком и без него и сравнивает результат. Так видно, даёт ли навык реальный прирост, а не просто выглядит аккуратно. Для этого нужны доступ к модели, поддерживаемый агент и набор задач. Набор можно создать автоматически или подготовить самому, а затем проверить вручную.

Проверка, загрузит ли агент навык

Самая приземлённая функция называется harness-check. Навык может быть написан хорошо, но конкретный агент его просто не увидит. В примере из документации команда skillevaluator harness-check ./my-skill показывает такой отчёт. Codex обрезает описание до 1 021 символа. Claude Code не сканирует папку .agents/skills. Copilot CLI не грузит навык, потому что описание занимает 1 028 единиц UTF-16 при лимите 1 024, то есть на 4 больше допустимого. В итоге 2 из 6 профилей агентов навык не загрузили. Это типичная ошибка: текст на вид нормальный, а агент о навыке не знает.

Как запускать

Установка простая: pip install skillevaluator или uv tool install, нужен Python 3.12–3.14. Быстрая проверка skillevaluator quality-check ./my-skill не требует ключа, сканеров, GPU или Docker. Она выдаёт оценку из 100 с разбором замечаний, порог прохождения по умолчанию — 70. Это только статическое качество: безопасность и реальный эффект нужно проверять отдельно.

Для всех трёх уровней NVIDIA предлагает бесплатный ключ NVIDIA Build, но только участникам программы NVIDIA Developer Program и с лимитами. Команда skillevaluator validate ./my-skill с провайдером nv_build запускает всё сразу. Перед этим стоит выполнить skillevaluator doctor: он проверяет готовность окружения, но не гарантирует, что вывод модели пройдёт.

Инструмент можно встроить в репозиторий. Мастер настройки для GitHub и GitLab открывает pull request с готовым workflow, а проверки запускаются на изменённых навыках и оставляют отчёты и комментарии в PR.

Ограничения

NVIDIA прямо пишет, что поддержка у проекта сообщества, без SLA и корпоративной поддержки. Оценки могут отличаться между релизами, а установка тянет сторонние open-source-компоненты, лицензии которых нужно прочитать заранее. Третий уровень зависит от качества тестовых задач: автоматически созданный набор покрывает мало.

Практический вывод для команд, которые держат внутренние библиотеки навыков для агентов: начните с бесплатных quality-check и harness-check в CI. Это дёшево и ловит самые обидные ошибки. Тяжёлую оценку с прогонами агента имеет смысл включать только для навыков, от которых зависит важная часть работы.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: три уровня проверки?

Инструмент устроен как лесенка, и каждый уровень можно запускать отдельно. Первый уровень отвечает на вопрос, безопасен ли навык и правильно ли он оформлен. Здесь работают те самые 500+ правил и шаблонов обнаружения. Подключены внешние сканеры Gitleaks (поиск утёкших секретов) и Bandit (уязвимости в Python), а также необязательный Semgrep. Для первого уровня есть режим без языковой модели: skillevaluator tier1 ./my-skill --no-llm. Второй уровень ищет повторы и пересечения.

Что известно по теме: проверка, загрузит ли агент навык?

Самая приземлённая функция называется harness-check. Навык может быть написан хорошо, но конкретный агент его просто не увидит. В примере из документации команда skillevaluator harness-check ./my-skill показывает такой отчёт. Codex обрезает описание до 1 021 символа. Claude Code не сканирует папку .agents/skills. Copilot CLI не грузит навык, потому что описание занимает 1 028 единиц UTF-16 при лимите 1 024, то есть на 4 больше допустимого. В итоге 2 из 6 профилей агентов навык не загрузили.

Что известно по теме: как запускать?

Установка простая: pip install skillevaluator или uv tool install, нужен Python 3.12–3.14. Быстрая проверка skillevaluator quality-check ./my-skill не требует ключа, сканеров, GPU или Docker. Она выдаёт оценку из 100 с разбором замечаний, порог прохождения по умолчанию — 70. Это только статическое качество: безопасность и реальный эффект нужно проверять отдельно. Для всех трёх уровней NVIDIA предлагает бесплатный ключ NVIDIA Build, но только участникам программы NVIDIA Developer Program и с лимитами.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…