NVIDIA открыла SkillEvaluator: 500+ правил ловят ошибки в навыках ИИ-агентов
NVIDIA выложила открытый SkillEvaluator — проверку «навыков» ИИ-агентов: так называют папки с инструкциями для Claude Code или Codex. Свыше 500 правил ищут ошибки в оформлении, утёкшие секреты и опасные скрипты, а быстрая проверка без API-ключа ставит оценку из 100 при пороге 70. Бывает и хуже: описание на 1 028 символов Copilot CLI не загрузит, лимит там 1 024. Поэтому навыки стоит гонять через CI, как код через линтер.
AI-обработка оригинала GitHub Trending AI; редакция Hamidun News
«Навык» для ИИ-агента — это обычная папка с инструкциями и вспомогательными файлами, которую подключают к Claude Code, Codex или Copilot CLI. Например, навык «как оформлять отчёты по нашему шаблону». Проверяют такие папки обычно на глаз, и ошибки вскрываются только тогда, когда агент начинает «странно себя вести». NVIDIA выложила на GitHub открытый инструмент SkillEvaluator, который закрывает этот пробел. В нём более 500 статических правил: это готовые автоматические проверки оформления, версии, лицензии, персональных данных, подозрительных Unicode-символов и скриптов. Ещё он измеряет, помогает ли навык агенту на самом деле. Проект попал в GitHub Trending и за день набрал 133 звезды.
Три уровня проверки
Инструмент устроен как лесенка, и каждый уровень можно запускать отдельно.
Первый уровень отвечает на вопрос, безопасен ли навык и правильно ли он оформлен. Здесь работают те самые 500+ правил и шаблонов обнаружения. Подключены внешние сканеры Gitleaks (поиск утёкших секретов) и Bandit (уязвимости в Python), а также необязательный Semgrep. Для первого уровня есть режим без языковой модели: skillevaluator tier1 ./my-skill --no-llm.
Второй уровень ищет повторы и пересечения. Если в каталоге несколько навыков, инструмент сравнивает их между собой и показывает, где инструкции дублируют друг друга. Для этого нужен файл каталога. Если сравнение не состоялось, отчёт честно об этом сообщает.
Третий уровень самый тяжёлый: живая оценка агента. Инструмент запускает агента в песочнице (по умолчанию в Docker) на задачах с навыком и без него и сравнивает результат. Так видно, даёт ли навык реальный прирост, а не просто выглядит аккуратно. Для этого нужны доступ к модели, поддерживаемый агент и набор задач. Набор можно создать автоматически или подготовить самому, а затем проверить вручную.
Проверка, загрузит ли агент навык
Самая приземлённая функция называется harness-check. Навык может быть написан хорошо, но конкретный агент его просто не увидит. В примере из документации команда skillevaluator harness-check ./my-skill показывает такой отчёт. Codex обрезает описание до 1 021 символа. Claude Code не сканирует папку .agents/skills. Copilot CLI не грузит навык, потому что описание занимает 1 028 единиц UTF-16 при лимите 1 024, то есть на 4 больше допустимого. В итоге 2 из 6 профилей агентов навык не загрузили. Это типичная ошибка: текст на вид нормальный, а агент о навыке не знает.
Как запускать
Установка простая: pip install skillevaluator или uv tool install, нужен Python 3.12–3.14. Быстрая проверка skillevaluator quality-check ./my-skill не требует ключа, сканеров, GPU или Docker. Она выдаёт оценку из 100 с разбором замечаний, порог прохождения по умолчанию — 70. Это только статическое качество: безопасность и реальный эффект нужно проверять отдельно.
Для всех трёх уровней NVIDIA предлагает бесплатный ключ NVIDIA Build, но только участникам программы NVIDIA Developer Program и с лимитами. Команда skillevaluator validate ./my-skill с провайдером nv_build запускает всё сразу. Перед этим стоит выполнить skillevaluator doctor: он проверяет готовность окружения, но не гарантирует, что вывод модели пройдёт.
Инструмент можно встроить в репозиторий. Мастер настройки для GitHub и GitLab открывает pull request с готовым workflow, а проверки запускаются на изменённых навыках и оставляют отчёты и комментарии в PR.
Ограничения
NVIDIA прямо пишет, что поддержка у проекта сообщества, без SLA и корпоративной поддержки. Оценки могут отличаться между релизами, а установка тянет сторонние open-source-компоненты, лицензии которых нужно прочитать заранее. Третий уровень зависит от качества тестовых задач: автоматически созданный набор покрывает мало.
Практический вывод для команд, которые держат внутренние библиотеки навыков для агентов: начните с бесплатных quality-check и harness-check в CI. Это дёшево и ловит самые обидные ошибки. Тяжёлую оценку с прогонами агента имеет смысл включать только для навыков, от которых зависит важная часть работы.
- 21 нояб. 2026 г.Anthropic закрыла первую неделю на бирже с оценкой $1,6 трлн, но за день упала на 8,5%
- 21 нояб. 2026 г.15 субагентов Claude Code написали систему для цеха, а релиз принимает агент без права правки
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
Вопросы и ответы по материалу
Что известно по теме: три уровня проверки?
Инструмент устроен как лесенка, и каждый уровень можно запускать отдельно. Первый уровень отвечает на вопрос, безопасен ли навык и правильно ли он оформлен. Здесь работают те самые 500+ правил и шаблонов обнаружения. Подключены внешние сканеры Gitleaks (поиск утёкших секретов) и Bandit (уязвимости в Python), а также необязательный Semgrep. Для первого уровня есть режим без языковой модели: skillevaluator tier1 ./my-skill --no-llm. Второй уровень ищет повторы и пересечения.
Что известно по теме: проверка, загрузит ли агент навык?
Самая приземлённая функция называется harness-check. Навык может быть написан хорошо, но конкретный агент его просто не увидит. В примере из документации команда skillevaluator harness-check ./my-skill показывает такой отчёт. Codex обрезает описание до 1 021 символа. Claude Code не сканирует папку .agents/skills. Copilot CLI не грузит навык, потому что описание занимает 1 028 единиц UTF-16 при лимите 1 024, то есть на 4 больше допустимого. В итоге 2 из 6 профилей агентов навык не загрузили.
Что известно по теме: как запускать?
Установка простая: pip install skillevaluator или uv tool install, нужен Python 3.12–3.14. Быстрая проверка skillevaluator quality-check ./my-skill не требует ключа, сканеров, GPU или Docker. Она выдаёт оценку из 100 с разбором замечаний, порог прохождения по умолчанию — 70. Это только статическое качество: безопасность и реальный эффект нужно проверять отдельно. Для всех трёх уровней NVIDIA предлагает бесплатный ключ NVIDIA Build, но только участникам программы NVIDIA Developer Program и с лимитами.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.