Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)

Garry Tan removeu a skill /investigate: 50,0% contra 47,2% de sucesso, e cada correção custava 43% mais

Uma skill é uma instrução para o Claude Code, como um passo a passo para analisar um bug. Garry Tan removeu do gstack a skill /investigate: em 18 bugs com 20 tentativas cada, a versão com a skill corrigiu 50,0%, e a versão sem ela, 47,2%. A diferença de 2,8 pontos, com limite de 10, é ruído, e cada correção bem-sucedida com a skill custou 43% mais. Quando sair um novo modelo, vale testar suas skills do mesmo jeito.

Processado por IA de TG: @sergiobulaev (Сергей Булаев AI); editado por Hamidun News
Garry Tan removeu a skill /investigate: 50,0% contra 47,2% de sucesso, e cada correção custava 43% mais
Fonte: TG: @sergiobulaev (Сергей Булаев AI). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @sergiobulaev (Сергей Булаев AI) ↗
Editor-chefe
Dado-chave #1O limite de 10 pontos foi registrado antes da execução, para não ajustar a conclusão depois
Foram 360 execuções por ramo18 bugs com 20 tentativas cada
Dado-chave #3A /write-skill só deixa entrar na skill aquilo que o modelo não faz sozinho

Uma skill para agente de programação é uma instrução pronta que você conecta ao Claude Code para que ele siga o seu método. Por exemplo: "ao corrigir um bug, primeiro encontre a causa e só depois escreva a correção". O problema é que os modelos ficam mais inteligentes, e uma instrução que ajudava ontem pode hoje apenas inflar o prompt e gastar dinheiro.

Garry Tan testou isso no próprio repositório gstack e removeu dele a skill /investigate: com a skill, o modelo corrigia 50,0% dos bugs; sem ela, 47,2%; e cada correção bem-sucedida com a skill saía 43% mais cara. Se você mantém no projeto um conjunto de prompts, regras ou skills para o agente, esse método de teste ajuda a descobrir quais já podem ser descartados.

O que aconteceu com a /investigate

O gstack é um repositório de skills para o Claude Code, com cerca de 140 mil estrelas e mais de 50 skills. Uma delas, a /investigate, conduzia o modelo por uma análise passo a passo de um bug. Antes, isso ajudava. Agora, segundo o autor, o Opus 5.5 corrige bugs com o mesmo sucesso mesmo sem esse roteiro. Cada novo modelo faz mais que o anterior, e as skills antigas passam a atrapalhar e a custar dinheiro.

A equipe não deixou a conclusão "a skill não é necessária" no nível da impressão: mediu. Com a skill, a taxa de correções bem-sucedidas foi de 50,0%; sem ela, 47,2%. A diferença de 2,8 pontos percentuais, com um limite de 10 pontos definido de antemão, é ruído, não uma vantagem real. Além disso, cada correção bem-sucedida com a skill custou 43% mais. A skill não era melhor e ainda era mais cara, então foi cortada.

Agora os bugs são corrigidos diretamente, seguindo um roteiro curto: uma verificação da causa, um teste que falha antes da correção quando a causa não está clara, depois a correção e a reexecução.

Uma receita de teste que serve para qualquer skill

O método é simples e dá para levá-lo para o seu projeto.

Primeiro: reúna tarefas reais em que o modelo, sem a skill, acerta em cerca de metade dos casos. Em tarefas fáceis demais, ele resolve tudo de qualquer jeito; nas difíceis demais, não resolve nada. Nos dois casos, não aparece diferença entre as variantes, e o teste não mostra nada.

Segundo: execute cada tarefa muitas vezes em dois ramos, com a skill e sem ela. No gstack, foram 18 bugs com 20 tentativas cada, ou seja, 360 execuções por ramo. O modelo responde de forma diferente a cada vez, então uma única execução não basta.

Terceiro: antes de rodar, registre qual diferença você considera significativa. No gstack, o limite é de 10 pontos. Isso protege contra o autoengano: se você decide depois de ver os números, qualquer diferença pode ser declarada vitória.

Quarto: calcule dois números ao mesmo tempo. Um é a taxa de execuções bem-sucedidas; o outro, o custo de cada execução bem-sucedida. Uma skill pode elevar um pouco o sucesso e dobrar o consumo de tokens. Ou, como aqui, não trazer ganho nenhum e ainda assim acrescentar 43% ao custo. Sem o segundo número, esse efeito passa despercebido com facilidade.

Como o teste foi incorporado às ferramentas

A equipe levou a mesma abordagem para dentro do próprio gstack. A skill /eval-plan prepara antecipadamente esse tipo de eval, isto é, um plano de verificação: conjunto de tarefas, número de execuções e limite. Já a /write-skill exige que só entre na skill aquilo que o modelo não faz sozinho. Se o modelo já dá conta, não é preciso escrever instrução.

Daí vem o ciclo de trabalho. Saiu um novo modelo: você roda o eval de novo. Há diferença: a skill fica. Não há diferença: a skill sai. Assim, o conjunto de instruções não cresce sem controle nem vira um lastro que você paga a cada requisição.

O que levar em conta

O resultado vale para 18 bugs específicos, um modelo específico e uma skill específica. Em outra stack, em outra linguagem ou em tarefas mais complexas, a skill pode se mostrar útil. As conclusões se baseiam no post do autor e na descrição do pull request; ninguém reproduziu os números de forma independente. Uma diferença de 2,8 pontos significa "dentro do ruído", e não prova a ausência total de efeito.

A conclusão prática para equipes que constroem agentes: trate a skill como uma hipótese, não como um ativo. Cada skill deve ter tarefas de teste, um limite e a data da última verificação. Assim, a cada atualização do modelo, você remove o que ele já sabe fazer e economiza tokens sem perder qualidade.

História

Perguntas frequentes sobre a notícia

O que aconteceu com a /investigate?

O gstack é um repositório de skills para o Claude Code, com cerca de 140 mil estrelas e mais de 50 skills. Uma delas, a /investigate, conduzia o modelo por uma análise passo a passo de um bug. Antes, isso ajudava. Agora, segundo o autor, o Opus 5.5 corrige bugs com o mesmo sucesso mesmo sem esse roteiro. Cada novo modelo faz mais que o anterior, e as skills antigas passam a atrapalhar e a custar dinheiro. A equipe não deixou a conclusão "a skill não é necessária" no nível da impressão: mediu.

O que se sabe sobre Uma receita de teste que serve para qualquer skill?

O método é simples e dá para levá-lo para o seu projeto. Primeiro: reúna tarefas reais em que o modelo, sem a skill, acerta em cerca de metade dos casos. Em tarefas fáceis demais, ele resolve tudo de qualquer jeito; nas difíceis demais, não resolve nada. Nos dois casos, não aparece diferença entre as variantes, e o teste não mostra nada. Segundo: execute cada tarefa muitas vezes em dois ramos, com a skill e sem ela. No gstack, foram 18 bugs com 20 tentativas cada, ou seja, 360 execuções por ramo.

Como o teste foi incorporado às ferramentas?

A equipe levou a mesma abordagem para dentro do próprio gstack. A skill /eval-plan prepara antecipadamente esse tipo de eval, isto é, um plano de verificação: conjunto de tarefas, número de execuções e limite. Já a /write-skill exige que só entre na skill aquilo que o modelo não faz sozinho. Se o modelo já dá conta, não é preciso escrever instrução. Daí vem o ciclo de trabalho. Saiu um novo modelo: você roda o eval de novo. Há diferença: a skill fica. Não há diferença: a skill sai.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…