NVIDIA lança o SkillEvaluator: mais de 500 regras pegam erros em skills de agentes de IA
A NVIDIA publicou o SkillEvaluator, uma ferramenta de código aberto para checar as "skills" de agentes de IA: pastas com instruções usadas por Claude Code ou Codex. Mais de 500 regras procuram erros de formatação, segredos vazados e scripts perigosos. Uma verificação rápida, sem chave de API, dá uma nota de 0 a 100, com 70 como limite de aprovação. Algumas falhas são bem sutis. A descrição de 1 028 caracteres de uma skill não é carregada pelo Copilot CLI, cujo limite é 1 024. Por isso, a recomendação é rodar as skills no CI, da mesma forma que se roda código em um linter.
Processado por IA de GitHub Trending AI; editado por Hamidun News
Uma "skill" para agente de IA é uma pasta comum com instruções e arquivos auxiliares, conectada ao Claude Code, ao Codex ou ao Copilot CLI. Por exemplo, uma skill com a regra "como formatar relatórios segundo o nosso modelo". Normalmente, essas pastas são revisadas a olho, e os erros só aparecem quando o agente começa a se comportar de forma estranha. A NVIDIA publicou no GitHub a ferramenta de código aberto SkillEvaluator, que preenche essa lacuna. Ela tem mais de 500 regras estáticas, verificações automáticas de formatação, versão, licença, dados pessoais, caracteres Unicode suspeitos e scripts. Além disso, mede se a skill realmente ajuda o agente. O projeto entrou no GitHub Trending e somou 133 estrelas em um dia.
Três níveis de verificação
A ferramenta funciona como uma escada, e cada nível pode ser executado separadamente.
O primeiro nível responde se a skill é segura e se está bem formatada. Aqui atuam as mais de 500 regras e padrões de detecção. Estão integrados os scanners externos Gitleaks (busca de segredos vazados) e Bandit (vulnerabilidades em Python), além do Semgrep, que é opcional. Para o primeiro nível existe um modo sem modelo de linguagem: skillevaluator tier1 ./my-skill --no-llm.
O segundo nível procura repetições e sobreposições. Se houver várias skills em um diretório, a ferramenta as compara entre si e mostra onde as instruções se duplicam. Para isso, é necessário um arquivo de catálogo. Se a comparação não for concluída, o relatório informa isso de forma explícita.
O terceiro nível é o mais pesado: a avaliação ao vivo do agente. A ferramenta executa o agente em um sandbox (por padrão, no Docker) com tarefas feitas com a skill e sem ela, e compara os resultados. Assim, dá para ver se a skill traz um ganho real, e não apenas parece bem escrita. Para isso são necessários acesso a um modelo, um agente compatível e um conjunto de tarefas. O conjunto pode ser gerado automaticamente ou preparado manualmente e, depois, revisado.
Verificando se o agente carrega a skill
A função mais prática se chama harness-check. Uma skill pode estar bem escrita, mas um agente específico simplesmente não a enxerga. No exemplo da documentação, o comando skillevaluator harness-check ./my-skill gera um relatório desse tipo. O Codex corta a descrição em 1 021 caracteres. O Claude Code não varre a pasta .agents/skills. O Copilot CLI não carrega a skill, porque a descrição ocupa 1 028 unidades UTF-16 contra um limite de 1 024, ou seja, 4 a mais do que o permitido. No total, 2 de 6 perfis de agentes não carregaram a skill. É um erro comum: o texto parece normal, mas o agente nem fica sabendo da skill.
Como executar
A instalação é simples: pip install skillevaluator ou uv tool install, com Python 3.12–3.14. A verificação rápida skillevaluator quality-check ./my-skill não exige chave, scanners, GPU nem Docker. Ela entrega uma nota de 0 a 100 com a lista de observações, e o limite padrão de aprovação é 70. Trata-se apenas da qualidade estática: segurança e efeito real precisam ser verificados à parte.
Para os três níveis, a NVIDIA oferece uma chave gratuita do NVIDIA Build, mas apenas para participantes do NVIDIA Developer Program e com limites de uso. O comando skillevaluator validate ./my-skill com o provedor nv_build executa tudo de uma vez. Antes disso, vale rodar skillevaluator doctor, que verifica se o ambiente está pronto, mas não garante que a saída do modelo será aprovada.
A ferramenta pode ser integrada ao repositório. O assistente de configuração para GitHub e GitLab abre um pull request com um workflow pronto, e as verificações rodam nas skills alteradas, deixando relatórios e comentários no PR.
Limitações
A NVIDIA afirma com clareza que o suporte do projeto é feito pela comunidade, sem SLA nem suporte corporativo. As notas podem variar entre versões, e a instalação puxa componentes open source de terceiros, cujas licenças precisam ser lidas com antecedência. O terceiro nível depende da qualidade das tarefas de teste: o conjunto gerado automaticamente cobre pouco.
A conclusão prática para equipes que mantêm bibliotecas internas de skills para agentes: comece com o quality-check e o harness-check, gratuitos, no CI. É barato e pega os erros mais chatos. A avaliação pesada, com execuções do agente, só vale a pena para skills de que dependa uma parte importante do trabalho.
- 21 de nov. de 2026Servidor MCP de 360 linhas sem SDK: cinco decisões que fizeram o agente parar de quebrar links
- 21 de nov. de 2026Text-to-cad: agente de IA desenha peças de robô a partir de descrição, projeto ultrapassa 26 mil estrelas
- 21 de nov. de 2026Vídeo do Claude jogando GTA 6 tem cara de fake: meia hora de controle consumiu o limite de 5 horas do Pro
- 21 de nov. de 2026Claude Code acelerou a descompilação de Snowboard Kids 2: de 20% para 45% das funções em três meses
Perguntas frequentes sobre a notícia
O que se sabe sobre Três níveis de verificação?
A ferramenta funciona como uma escada, e cada nível pode ser executado separadamente. O primeiro nível responde se a skill é segura e se está bem formatada. Aqui atuam as mais de 500 regras e padrões de detecção. Estão integrados os scanners externos Gitleaks (busca de segredos vazados) e Bandit (vulnerabilidades em Python), além do Semgrep, que é opcional. Para o primeiro nível existe um modo sem modelo de linguagem: skillevaluator tier1 ./my-skill --no-llm. O segundo nível procura repetições e sobreposições.
O que se sabe sobre Verificando se o agente carrega a skill?
A função mais prática se chama harness-check. Uma skill pode estar bem escrita, mas um agente específico simplesmente não a enxerga. No exemplo da documentação, o comando skillevaluator harness-check ./my-skill gera um relatório desse tipo. O Codex corta a descrição em 1 021 caracteres. O Claude Code não varre a pasta .agents/skills. O Copilot CLI não carrega a skill, porque a descrição ocupa 1 028 unidades UTF-16 contra um limite de 1 024, ou seja, 4 a mais do que o permitido.
Como executar?
A instalação é simples: pip install skillevaluator ou uv tool install, com Python 3.12–3.14. A verificação rápida skillevaluator quality-check ./my-skill não exige chave, scanners, GPU nem Docker. Ela entrega uma nota de 0 a 100 com a lista de observações, e o limite padrão de aprovação é 70. Trata-se apenas da qualidade estática: segurança e efeito real precisam ser verificados à parte.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.