En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)

Garry Tan elimina el skill /investigate: 50,0% frente a 47,2% de éxito, y cada arreglo sale un 43% más caro

Un skill es una instrucción para Claude Code, por ejemplo un procedimiento paso a paso para analizar un bug. Garry Tan eliminó de gstack el skill /investigate: en 18 bugs con 20 intentos cada uno, con el skill se arregló el 50,0% y sin él el 47,2%. La diferencia de 2,8 puntos, frente a un umbral de 10, es ruido. Además, cada arreglo exitoso con el skill costaba un 43% más. Cuando salga un modelo nuevo, conviene revisar los propios skills de la misma manera.

Procesado por IA desde TG: @sergiobulaev (Сергей Булаев AI); editado por Hamidun News
Garry Tan elimina el skill /investigate: 50,0% frente a 47,2% de éxito, y cada arreglo sale un 43% más caro
Fuente: TG: @sergiobulaev (Сергей Булаев AI). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTG: @sergiobulaev (Сергей Булаев AI) ↗
Editor jefe
Dato clave #1El umbral de 10 puntos se fijó antes de la prueba, para no ajustar la conclusión a los resultados
En total, 360 ejecuciones por rama18 bugs con 20 intentos cada uno
Dato clave #3/write-skill solo deja entrar en un skill lo que el modelo no hace por sí mismo

Un skill para un agente de programación es una instrucción ya preparada que se conecta a Claude Code para que actúe según un esquema propio. Por ejemplo: «al arreglar un bug, primero encuentra la causa y después escribe el fix». El problema es que los modelos mejoran, y una instrucción que ayer ayudaba puede hoy limitarse a inflar la petición y gastar dinero.

Garry Tan lo comprobó en su propio repositorio gstack y eliminó el skill /investigate: con el skill, el modelo arreglaba el 50,0% de los bugs; sin él, el 47,2%, y cada arreglo exitoso con el skill costaba un 43% más. Si en tu proyecto mantienes un conjunto de prompts, reglas o skills para un agente, este método de verificación te ayudará a decidir cuáles toca descartar.

Qué pasó con /investigate

gstack es un repositorio de skills para Claude Code: tiene unas 140 mil estrellas y más de 50 skills. Uno de ellos, /investigate, guiaba al modelo paso a paso en el análisis de un bug. Antes ayudaba. Ahora, según su autor, Opus 5.5 arregla los bugs con el mismo éxito sin ese guion. Cada modelo nuevo sabe hacer más que el anterior, mientras que los skills antiguos empiezan a estorbar y a costar dinero.

El equipo no se quedó en la sensación de que el skill sobraba: lo midió. Con el skill, la proporción de arreglos exitosos fue del 50,0%; sin él, del 47,2%. Una brecha de 2,8 puntos porcentuales, con un umbral fijado de antemano en 10 puntos, es ruido y no una ventaja real. Además, cada arreglo exitoso con el skill costaba un 43% más. El skill no era mejor y sí más caro, así que lo eliminaron.

Ahora los bugs se arreglan directamente con un esquema corto: una comprobación de la causa; si no está clara, un test que falle antes de tocar el código; después, el fix y una nueva ejecución.

Una receta de verificación válida para cualquier skill

El método es sencillo y se puede trasladar a otro proyecto.

Primero: reúne tareas reales en las que el modelo, sin skill, acierte aproximadamente la mitad de las veces. En tareas demasiado fáciles lo resuelve todo de todas formas, y en las demasiado difíciles no resuelve nada. En ambos casos no se ve diferencia entre las variantes y la prueba no aporta nada.

Segundo: ejecuta cada tarea muchas veces en dos ramas, con skill y sin él. En gstack son 18 bugs con 20 intentos cada uno, es decir, 360 ejecuciones por rama. El modelo responde de forma distinta de una vez a otra, así que una sola ejecución no basta.

Tercero: antes de empezar, anota qué diferencia consideras significativa. En gstack el umbral es de 10 puntos. Es una protección contra el autoengaño: si se decide después de ver las cifras, cualquier diferencia se puede declarar una victoria.

Cuarto: calcula dos cifras a la vez. Son la proporción de ejecuciones exitosas y el coste de cada ejecución exitosa. Un skill puede subir un poco el éxito y duplicar el gasto de tokens. O, como aquí, no aportar ninguna mejora y aun así añadir un 43% al coste. Sin la segunda cifra, este efecto se pasa por alto con facilidad.

Cómo se integró la verificación en las herramientas

El equipo incorporó el mismo enfoque al propio gstack. El skill /eval-plan prepara de antemano un eval de este tipo, es decir, un plan de verificación: el conjunto de tareas, el número de ejecuciones y el umbral. Por su parte, /write-skill exige añadir a un skill solo lo que el modelo no hace por sí mismo. Si el modelo ya lo resuelve, no hace falta escribir la instrucción.

De ahí sale un ciclo de trabajo. Sale un modelo nuevo y vuelves a ejecutar el eval. Si hay diferencia, el skill se queda. Si no la hay, el skill se va. Así el conjunto de instrucciones no crece sin control ni se convierte en un lastre que pagas en cada petición.

Qué conviene tener en cuenta

El resultado se refiere a 18 bugs concretos, un modelo concreto y un skill concreto. En otro stack, en otro lenguaje o con tareas más complejas, el skill puede resultar útil. Las conclusiones se basan en la publicación del autor y en la descripción del pull request; nadie ha reproducido las cifras de forma independiente. Una diferencia de 2,8 puntos significa «dentro del ruido», no la prueba de que el efecto sea nulo.

Conclusión práctica para los equipos que construyen agentes: trata el skill como una hipótesis, no como un activo. Cada skill debe tener tareas de prueba, un umbral y la fecha de la última verificación. Así, tras cada actualización del modelo, eliminas lo que ya sabe hacer y ahorras tokens sin perder calidad.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué pasó con /investigate?

gstack es un repositorio de skills para Claude Code: tiene unas 140 mil estrellas y más de 50 skills. Uno de ellos, /investigate, guiaba al modelo paso a paso en el análisis de un bug. Antes ayudaba. Ahora, según su autor, Opus 5.5 arregla los bugs con el mismo éxito sin ese guion. Cada modelo nuevo sabe hacer más que el anterior, mientras que los skills antiguos empiezan a estorbar y a costar dinero. El equipo no se quedó en la sensación de que el skill sobraba: lo midió.

¿Qué se sabe sobre Una receta de verificación válida para cualquier skill?

El método es sencillo y se puede trasladar a otro proyecto. Primero: reúne tareas reales en las que el modelo, sin skill, acierte aproximadamente la mitad de las veces. En tareas demasiado fáciles lo resuelve todo de todas formas, y en las demasiado difíciles no resuelve nada. En ambos casos no se ve diferencia entre las variantes y la prueba no aporta nada. Segundo: ejecuta cada tarea muchas veces en dos ramas, con skill y sin él. En gstack son 18 bugs con 20 intentos cada uno, es decir, 360 ejecuciones por rama.

Cómo se integró la verificación en las herramientas?

El equipo incorporó el mismo enfoque al propio gstack. El skill /eval-plan prepara de antemano un eval de este tipo, es decir, un plan de verificación: el conjunto de tareas, el número de ejecuciones y el umbral. Por su parte, /write-skill exige añadir a un skill solo lo que el modelo no hace por sí mismo. Si el modelo ya lo resuelve, no hace falta escribir la instrucción. De ahí sale un ciclo de trabajo. Sale un modelo nuevo y vuelves a ejecutar el eval. Si hay diferencia, el skill se queda.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…