Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoCódigo / SDK · Listo para usarGitHub Trending AI→ original

NVIDIA lanza SkillEvaluator: más de 500 reglas detectan errores en las habilidades de los agentes de IA

NVIDIA ha publicado SkillEvaluator, una herramienta abierta para revisar las «habilidades» de los agentes de IA: así se llaman las carpetas con instrucciones para Claude Code o Codex. Más de 500 reglas buscan errores de formato, secretos filtrados y scripts peligrosos, y una comprobación rápida sin clave de API asigna una puntuación de 100 con un umbral de 70. A veces el problema es aún más básico: una descripción de 1 028 caracteres no se carga en Copilot CLI, cuyo límite es 1 024. Por eso conviene ejecutar las habilidades en CI, igual que se hace con el código con un linter.

Procesado por IA desde GitHub Trending AI; editado por Hamidun News
NVIDIA lanza SkillEvaluator: más de 500 reglas detectan errores en las habilidades de los agentes de IA
Fuente: GitHub Trending AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalGitHub Trending AI ↗
Editor jefe
Harness-checken el ejemplo, 2 de 6 perfiles de agente no cargaron una habilidad
Dato clave #2El nivel 3 ejecuta el agente en Docker con la habilidad y sin ella, y compara los resultados
Requiere Python 3.12–3.14pip install skillevaluator

Una «habilidad» para un agente de IA es una carpeta normal con instrucciones y archivos auxiliares que se conecta a Claude Code, Codex o Copilot CLI. Por ejemplo, una habilidad que explica cómo dar formato a los informes según nuestra plantilla. Estas carpetas suelen revisarse a ojo, y los errores solo salen a la luz cuando el agente empieza a comportarse de forma extraña.

NVIDIA ha publicado en GitHub la herramienta abierta SkillEvaluator, que intenta cubrir ese hueco. Incluye más de 500 reglas estáticas, es decir, comprobaciones automáticas predefinidas de formato, versión, licencia, datos personales, caracteres Unicode sospechosos y scripts. Además, mide si una habilidad realmente ayuda al agente.

El proyecto entró en GitHub Trending y sumó 133 estrellas en un día.

Tres niveles de revisión

La herramienta funciona como una escalera, y cada nivel puede ejecutarse por separado.

El primer nivel responde si la habilidad es segura y si está bien formateada. Aquí actúan las más de 500 reglas y patrones de detección. Se integran los escáneres externos Gitleaks (búsqueda de secretos filtrados) y Bandit (vulnerabilidades en Python), así como Semgrep, de uso opcional. Para el primer nivel existe un modo sin modelo de lenguaje: skillevaluator tier1 ./my-skill --no-llm.

El segundo nivel busca repeticiones y solapamientos. Si hay varias habilidades en un directorio, la herramienta las compara entre sí y muestra dónde las instrucciones se duplican. Para ello hace falta un archivo de catálogo. Si la comparación no se completa, el informe lo indica con claridad.

El tercer nivel es el más costoso: la evaluación en vivo del agente. La herramienta ejecuta el agente en un entorno aislado (por defecto, en Docker) con tareas, primero con la habilidad y después sin ella, y compara los resultados. Así se ve si la habilidad aporta una mejora real y no solo tiene un aspecto ordenado. Para esto se necesita acceso a un modelo, un agente compatible y un conjunto de tareas. El conjunto puede generarse automáticamente o prepararse a mano, y después revisarse manualmente.

Comprobar si el agente carga la habilidad

La función más práctica se llama harness-check. Una habilidad puede estar bien escrita y, aun así, el agente concreto no la detectará. En el ejemplo de la documentación, el comando skillevaluator harness-check ./my-skill muestra ese tipo de informe. Codex recorta la descripción a 1 021 caracteres. Claude Code no busca en la carpeta .agents/skills. Copilot CLI no carga la habilidad porque la descripción ocupa 1 028 unidades UTF-16 frente a un límite de 1 024, es decir, 4 por encima del máximo permitido. En total, 2 de los 6 perfiles de agente no cargaron la habilidad. Es un error habitual: el texto parece correcto, pero el agente no sabe que la habilidad existe.

Cómo ejecutarla

La instalación es sencilla: pip install skillevaluator o uv tool install, y se necesita Python 3.12–3.14. La comprobación rápida skillevaluator quality-check ./my-skill no requiere clave, escáneres, GPU ni Docker. Devuelve una puntuación de 100 con el detalle de las observaciones, y el umbral de aprobación por defecto es 70. Solo evalúa la calidad estática: la seguridad y el efecto real deben verificarse por separado.

Para los tres niveles, NVIDIA ofrece una clave gratuita de NVIDIA Build, pero solo para miembros del programa NVIDIA Developer Program y con límites de uso. El comando skillevaluator validate ./my-skill con el proveedor nv_build ejecuta todo de una vez. Antes conviene ejecutar skillevaluator doctor, que comprueba que el entorno está listo, aunque no garantiza que la salida del modelo vaya a pasar la prueba.

La herramienta puede integrarse en un repositorio. El asistente de configuración para GitHub y GitLab abre un pull request con un workflow preparado, y las comprobaciones se ejecutan sobre las habilidades modificadas y dejan informes y comentarios en el PR.

Limitaciones

NVIDIA indica expresamente que el proyecto tiene soporte comunitario, sin SLA ni asistencia empresarial. Las puntuaciones pueden variar entre versiones, y la instalación arrastra componentes open source de terceros cuyas licencias conviene revisar de antemano. El tercer nivel depende de la calidad de las tareas de prueba: el conjunto generado automáticamente cubre poco.

La conclusión práctica para los equipos que mantienen bibliotecas internas de habilidades para agentes: empiecen por el quality-check y el harness-check gratuitos en CI. Es barato y detecta los errores más molestos. La evaluación pesada, con ejecuciones del agente, solo merece la pena para las habilidades de las que depende una parte importante del trabajo.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Tres niveles de revisión?

La herramienta funciona como una escalera, y cada nivel puede ejecutarse por separado. El primer nivel responde si la habilidad es segura y si está bien formateada. Aquí actúan las más de 500 reglas y patrones de detección. Se integran los escáneres externos Gitleaks (búsqueda de secretos filtrados) y Bandit (vulnerabilidades en Python), así como Semgrep, de uso opcional. Para el primer nivel existe un modo sin modelo de lenguaje: skillevaluator tier1 ./my-skill --no-llm.

¿Qué se sabe sobre Comprobar si el agente carga la habilidad?

La función más práctica se llama harness-check. Una habilidad puede estar bien escrita y, aun así, el agente concreto no la detectará. En el ejemplo de la documentación, el comando skillevaluator harness-check ./my-skill muestra ese tipo de informe. Codex recorta la descripción a 1 021 caracteres. Claude Code no busca en la carpeta .agents/skills. Copilot CLI no carga la habilidad porque la descripción ocupa 1 028 unidades UTF-16 frente a un límite de 1 024, es decir, 4 por encima del máximo permitido.

Cómo ejecutarla?

La instalación es sencilla: pip install skillevaluator o uv tool install, y se necesita Python 3.12–3.14. La comprobación rápida skillevaluator quality-check ./my-skill no requiere clave, escáneres, GPU ni Docker. Devuelve una puntuación de 100 con el detalle de las observaciones, y el umbral de aprobación por defecto es 70. Solo evalúa la calidad estática: la seguridad y el efecto real deben verificarse por separado.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…