Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoCódigo / SDK · Pronto p/ usoGitHub Trending AI→ original

NVIDIA lança o SkillEvaluator: mais de 500 regras pegam erros em skills de agentes de IA

A NVIDIA publicou o SkillEvaluator, uma ferramenta de código aberto para checar as "skills" de agentes de IA: pastas com instruções usadas por Claude Code ou Codex. Mais de 500 regras procuram erros de formatação, segredos vazados e scripts perigosos. Uma verificação rápida, sem chave de API, dá uma nota de 0 a 100, com 70 como limite de aprovação. Algumas falhas são bem sutis. A descrição de 1 028 caracteres de uma skill não é carregada pelo Copilot CLI, cujo limite é 1 024. Por isso, a recomendação é rodar as skills no CI, da mesma forma que se roda código em um linter.

Processado por IA de GitHub Trending AI; editado por Hamidun News
NVIDIA lança o SkillEvaluator: mais de 500 regras pegam erros em skills de agentes de IA
Fonte: GitHub Trending AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalGitHub Trending AI ↗
Editor-chefe
Harness-checkno exemplo, 2 de 6 perfis de agentes não carregaram a skill
Dado-chave #2Tier 3 executa o agente no Docker com e sem a skill e compara os resultados
Requer Python 3.12–3.14pip install skillevaluator

Uma "skill" para agente de IA é uma pasta comum com instruções e arquivos auxiliares, conectada ao Claude Code, ao Codex ou ao Copilot CLI. Por exemplo, uma skill com a regra "como formatar relatórios segundo o nosso modelo". Normalmente, essas pastas são revisadas a olho, e os erros só aparecem quando o agente começa a se comportar de forma estranha. A NVIDIA publicou no GitHub a ferramenta de código aberto SkillEvaluator, que preenche essa lacuna. Ela tem mais de 500 regras estáticas, verificações automáticas de formatação, versão, licença, dados pessoais, caracteres Unicode suspeitos e scripts. Além disso, mede se a skill realmente ajuda o agente. O projeto entrou no GitHub Trending e somou 133 estrelas em um dia.

Três níveis de verificação

A ferramenta funciona como uma escada, e cada nível pode ser executado separadamente.

O primeiro nível responde se a skill é segura e se está bem formatada. Aqui atuam as mais de 500 regras e padrões de detecção. Estão integrados os scanners externos Gitleaks (busca de segredos vazados) e Bandit (vulnerabilidades em Python), além do Semgrep, que é opcional. Para o primeiro nível existe um modo sem modelo de linguagem: skillevaluator tier1 ./my-skill --no-llm.

O segundo nível procura repetições e sobreposições. Se houver várias skills em um diretório, a ferramenta as compara entre si e mostra onde as instruções se duplicam. Para isso, é necessário um arquivo de catálogo. Se a comparação não for concluída, o relatório informa isso de forma explícita.

O terceiro nível é o mais pesado: a avaliação ao vivo do agente. A ferramenta executa o agente em um sandbox (por padrão, no Docker) com tarefas feitas com a skill e sem ela, e compara os resultados. Assim, dá para ver se a skill traz um ganho real, e não apenas parece bem escrita. Para isso são necessários acesso a um modelo, um agente compatível e um conjunto de tarefas. O conjunto pode ser gerado automaticamente ou preparado manualmente e, depois, revisado.

Verificando se o agente carrega a skill

A função mais prática se chama harness-check. Uma skill pode estar bem escrita, mas um agente específico simplesmente não a enxerga. No exemplo da documentação, o comando skillevaluator harness-check ./my-skill gera um relatório desse tipo. O Codex corta a descrição em 1 021 caracteres. O Claude Code não varre a pasta .agents/skills. O Copilot CLI não carrega a skill, porque a descrição ocupa 1 028 unidades UTF-16 contra um limite de 1 024, ou seja, 4 a mais do que o permitido. No total, 2 de 6 perfis de agentes não carregaram a skill. É um erro comum: o texto parece normal, mas o agente nem fica sabendo da skill.

Como executar

A instalação é simples: pip install skillevaluator ou uv tool install, com Python 3.12–3.14. A verificação rápida skillevaluator quality-check ./my-skill não exige chave, scanners, GPU nem Docker. Ela entrega uma nota de 0 a 100 com a lista de observações, e o limite padrão de aprovação é 70. Trata-se apenas da qualidade estática: segurança e efeito real precisam ser verificados à parte.

Para os três níveis, a NVIDIA oferece uma chave gratuita do NVIDIA Build, mas apenas para participantes do NVIDIA Developer Program e com limites de uso. O comando skillevaluator validate ./my-skill com o provedor nv_build executa tudo de uma vez. Antes disso, vale rodar skillevaluator doctor, que verifica se o ambiente está pronto, mas não garante que a saída do modelo será aprovada.

A ferramenta pode ser integrada ao repositório. O assistente de configuração para GitHub e GitLab abre um pull request com um workflow pronto, e as verificações rodam nas skills alteradas, deixando relatórios e comentários no PR.

Limitações

A NVIDIA afirma com clareza que o suporte do projeto é feito pela comunidade, sem SLA nem suporte corporativo. As notas podem variar entre versões, e a instalação puxa componentes open source de terceiros, cujas licenças precisam ser lidas com antecedência. O terceiro nível depende da qualidade das tarefas de teste: o conjunto gerado automaticamente cobre pouco.

A conclusão prática para equipes que mantêm bibliotecas internas de skills para agentes: comece com o quality-check e o harness-check, gratuitos, no CI. É barato e pega os erros mais chatos. A avaliação pesada, com execuções do agente, só vale a pena para skills de que dependa uma parte importante do trabalho.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Três níveis de verificação?

A ferramenta funciona como uma escada, e cada nível pode ser executado separadamente. O primeiro nível responde se a skill é segura e se está bem formatada. Aqui atuam as mais de 500 regras e padrões de detecção. Estão integrados os scanners externos Gitleaks (busca de segredos vazados) e Bandit (vulnerabilidades em Python), além do Semgrep, que é opcional. Para o primeiro nível existe um modo sem modelo de linguagem: skillevaluator tier1 ./my-skill --no-llm. O segundo nível procura repetições e sobreposições.

O que se sabe sobre Verificando se o agente carrega a skill?

A função mais prática se chama harness-check. Uma skill pode estar bem escrita, mas um agente específico simplesmente não a enxerga. No exemplo da documentação, o comando skillevaluator harness-check ./my-skill gera um relatório desse tipo. O Codex corta a descrição em 1 021 caracteres. O Claude Code não varre a pasta .agents/skills. O Copilot CLI não carrega a skill, porque a descrição ocupa 1 028 unidades UTF-16 contra um limite de 1 024, ou seja, 4 a mais do que o permitido.

Como executar?

A instalação é simples: pip install skillevaluator ou uv tool install, com Python 3.12–3.14. A verificação rápida skillevaluator quality-check ./my-skill não exige chave, scanners, GPU nem Docker. Ela entrega uma nota de 0 a 100 com a lista de observações, e o limite padrão de aprovação é 70. Trata-se apenas da qualidade estática: segurança e efeito real precisam ser verificados à parte.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…