Garry Tan removeu a skill /investigate: 50,0% contra 47,2% de sucesso, e cada correção custava 43% mais
Uma skill é uma instrução para o Claude Code, como um passo a passo para analisar um bug. Garry Tan removeu do gstack a skill /investigate: em 18 bugs com 20 tentativas cada, a versão com a skill corrigiu 50,0%, e a versão sem ela, 47,2%. A diferença de 2,8 pontos, com limite de 10, é ruído, e cada correção bem-sucedida com a skill custou 43% mais. Quando sair um novo modelo, vale testar suas skills do mesmo jeito.
Processado por IA de TG: @sergiobulaev (Сергей Булаев AI); editado por Hamidun News
Uma skill para agente de programação é uma instrução pronta que você conecta ao Claude Code para que ele siga o seu método. Por exemplo: "ao corrigir um bug, primeiro encontre a causa e só depois escreva a correção". O problema é que os modelos ficam mais inteligentes, e uma instrução que ajudava ontem pode hoje apenas inflar o prompt e gastar dinheiro.
Garry Tan testou isso no próprio repositório gstack e removeu dele a skill /investigate: com a skill, o modelo corrigia 50,0% dos bugs; sem ela, 47,2%; e cada correção bem-sucedida com a skill saía 43% mais cara. Se você mantém no projeto um conjunto de prompts, regras ou skills para o agente, esse método de teste ajuda a descobrir quais já podem ser descartados.
O que aconteceu com a /investigate
O gstack é um repositório de skills para o Claude Code, com cerca de 140 mil estrelas e mais de 50 skills. Uma delas, a /investigate, conduzia o modelo por uma análise passo a passo de um bug. Antes, isso ajudava. Agora, segundo o autor, o Opus 5.5 corrige bugs com o mesmo sucesso mesmo sem esse roteiro. Cada novo modelo faz mais que o anterior, e as skills antigas passam a atrapalhar e a custar dinheiro.
A equipe não deixou a conclusão "a skill não é necessária" no nível da impressão: mediu. Com a skill, a taxa de correções bem-sucedidas foi de 50,0%; sem ela, 47,2%. A diferença de 2,8 pontos percentuais, com um limite de 10 pontos definido de antemão, é ruído, não uma vantagem real. Além disso, cada correção bem-sucedida com a skill custou 43% mais. A skill não era melhor e ainda era mais cara, então foi cortada.
Agora os bugs são corrigidos diretamente, seguindo um roteiro curto: uma verificação da causa, um teste que falha antes da correção quando a causa não está clara, depois a correção e a reexecução.
Uma receita de teste que serve para qualquer skill
O método é simples e dá para levá-lo para o seu projeto.
Primeiro: reúna tarefas reais em que o modelo, sem a skill, acerta em cerca de metade dos casos. Em tarefas fáceis demais, ele resolve tudo de qualquer jeito; nas difíceis demais, não resolve nada. Nos dois casos, não aparece diferença entre as variantes, e o teste não mostra nada.
Segundo: execute cada tarefa muitas vezes em dois ramos, com a skill e sem ela. No gstack, foram 18 bugs com 20 tentativas cada, ou seja, 360 execuções por ramo. O modelo responde de forma diferente a cada vez, então uma única execução não basta.
Terceiro: antes de rodar, registre qual diferença você considera significativa. No gstack, o limite é de 10 pontos. Isso protege contra o autoengano: se você decide depois de ver os números, qualquer diferença pode ser declarada vitória.
Quarto: calcule dois números ao mesmo tempo. Um é a taxa de execuções bem-sucedidas; o outro, o custo de cada execução bem-sucedida. Uma skill pode elevar um pouco o sucesso e dobrar o consumo de tokens. Ou, como aqui, não trazer ganho nenhum e ainda assim acrescentar 43% ao custo. Sem o segundo número, esse efeito passa despercebido com facilidade.
Como o teste foi incorporado às ferramentas
A equipe levou a mesma abordagem para dentro do próprio gstack. A skill /eval-plan prepara antecipadamente esse tipo de eval, isto é, um plano de verificação: conjunto de tarefas, número de execuções e limite. Já a /write-skill exige que só entre na skill aquilo que o modelo não faz sozinho. Se o modelo já dá conta, não é preciso escrever instrução.
Daí vem o ciclo de trabalho. Saiu um novo modelo: você roda o eval de novo. Há diferença: a skill fica. Não há diferença: a skill sai. Assim, o conjunto de instruções não cresce sem controle nem vira um lastro que você paga a cada requisição.
O que levar em conta
O resultado vale para 18 bugs específicos, um modelo específico e uma skill específica. Em outra stack, em outra linguagem ou em tarefas mais complexas, a skill pode se mostrar útil. As conclusões se baseiam no post do autor e na descrição do pull request; ninguém reproduziu os números de forma independente. Uma diferença de 2,8 pontos significa "dentro do ruído", e não prova a ausência total de efeito.
A conclusão prática para equipes que constroem agentes: trate a skill como uma hipótese, não como um ativo. Cada skill deve ter tarefas de teste, um limite e a data da última verificação. Assim, a cada atualização do modelo, você remove o que ele já sabe fazer e economiza tokens sem perder qualidade.
- 18 de nov. de 2026Agente de IA deixou o SOC com 27 minutos para reagir, contra 53 diante de um atacante júnior
- 18 de nov. de 2026ArisGlobal cortou 40% da conta de IA ao cachear o prompt comum em vez do PDF
- 18 de nov. de 2026Após banimento, autor roda equipe de agentes no Kimi, Codex e OpenCode: execução a partir de US$ 0,30
- 18 de nov. de 2026Plugin TokenEconomizer reduz em 18,4–30,9% o custo de agentes de IA para código sem trocar de modelo
Perguntas frequentes sobre a notícia
O que aconteceu com a /investigate?
O gstack é um repositório de skills para o Claude Code, com cerca de 140 mil estrelas e mais de 50 skills. Uma delas, a /investigate, conduzia o modelo por uma análise passo a passo de um bug. Antes, isso ajudava. Agora, segundo o autor, o Opus 5.5 corrige bugs com o mesmo sucesso mesmo sem esse roteiro. Cada novo modelo faz mais que o anterior, e as skills antigas passam a atrapalhar e a custar dinheiro. A equipe não deixou a conclusão "a skill não é necessária" no nível da impressão: mediu.
O que se sabe sobre Uma receita de teste que serve para qualquer skill?
O método é simples e dá para levá-lo para o seu projeto. Primeiro: reúna tarefas reais em que o modelo, sem a skill, acerta em cerca de metade dos casos. Em tarefas fáceis demais, ele resolve tudo de qualquer jeito; nas difíceis demais, não resolve nada. Nos dois casos, não aparece diferença entre as variantes, e o teste não mostra nada. Segundo: execute cada tarefa muitas vezes em dois ramos, com a skill e sem ela. No gstack, foram 18 bugs com 20 tentativas cada, ou seja, 360 execuções por ramo.
Como o teste foi incorporado às ferramentas?
A equipe levou a mesma abordagem para dentro do próprio gstack. A skill /eval-plan prepara antecipadamente esse tipo de eval, isto é, um plano de verificação: conjunto de tarefas, número de execuções e limite. Já a /write-skill exige que só entre na skill aquilo que o modelo não faz sozinho. Se o modelo já dá conta, não é preciso escrever instrução. Daí vem o ciclo de trabalho. Saiu um novo modelo: você roda o eval de novo. Há diferença: a skill fica. Não há diferença: a skill sai.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.