Habilidades para agentes de IA prejudicam modelos fracos: meta-habilidade recuperou até 14 pontos

Habilidades que melhoram um modelo forte podem piorar o resultado de um modelo fraco. Essa é a conclusão de um grupo de dez autores, liderado por Zhihao Yang, em um artigo sobre a autoevolução do harness de agentes baseados em LLM. Em sete modelos e três benchmarks, os pesquisadores encontraram 103 pares "tarefa — habilidade" em que a habilidade eleva o GPT-5.6-luna em 31,1 pontos e reduz o desempenho do Gemma-4-E4B em 8,8. A solução proposta, a adaptação das habilidades ao executor, deu aos modelos fracos um ganho de 5,1 a 14,1 pontos.

Uma habilidade, dois efeitos opostos

A autoevolução do harness resolve um problema prático. O agente acumula experiência na execução de tarefas e a registra em forma de habilidades, ou seja, instruções textuais, procedimentos e verificações, sem alterar os pesos do modelo. Essa abordagem é mais barata que o fine-tuning e vem sendo muito usada por desenvolvedores de agentes de código.

A premissa central é que o modelo consegue executar o que está escrito na habilidade. Os autores testaram essa premissa e concluíram que ela nem sempre se sustenta. O efeito de uma habilidade depende da capacidade do executor. Um modelo forte segue uma instrução longa, de vários passos, e sai ganhando. Um modelo fraco perde o fio, chama as ferramentas de forma incorreta e compromete o restante do plano.

A descoberta mais inesperada diz respeito às causas das falhas. Em 86% das execuções malsucedidas de modelos fracos, o requisito violado já estava descrito na habilidade. Não faltava ao modelo conhecimento sobre o que fazer. Faltava a capacidade de levar a instrução até a execução.

Meta-habilidade: diagnóstico de quatro tipos de falha

Dessa observação surgiu a ideia de adaptar as habilidades: reformular uma habilidade existente para que seja mais fácil de executar por um modelo específico. Para isso, os autores classificaram as falhas em quatro categorias:

• erros na execução de ferramentas; • erros no gerenciamento de contexto; • descumprimento de instruções; • erros de verificação.

Os diagnósticos foram consolidados em uma meta-habilidade fixa, isto é, uma instrução sobre como reescrever outras instruções. Ela serve de referência para a adaptação dentro do ciclo de autoevolução.

Primeiro, a meta-habilidade foi testada em um reescritor externo. Com ela, o Kimi-K3 adaptou habilidades sem acesso aos resultados de execução, apenas a partir do texto. Três executores fracos melhoraram de 5,1 a 14,1 pontos em relação às habilidades originais.

Cinco rodadas de autoevolução

Em seguida, a adaptação foi incorporada a um ciclo completo de cinco rodadas. Nele, cada modelo corrige a própria habilidade com base nas trajetórias de execução e no feedback do verificador. Foram sete executores, do Gemma-4-E4B ao Kimi-K2.5. A meta-habilidade elevou de forma consistente o resultado final, em 2,0–5,1 pontos, na comparação com o mesmo ciclo sem ela.

Principais números do estudo:

• 7 modelos executores, 3 benchmarks; • 103 pares "tarefa — habilidade" com efeito divergente; • +31,1 pontos para o GPT-5.6-luna e −8,8 para o Gemma-4-E4B nesses pares; • 86% das falhas dos modelos fracos correspondem a requisitos já registrados na habilidade; • +5,1–14,1 pontos com a adaptação externa das habilidades feita pelo Kimi-K3 para três executores fracos; • +2,0–5,1 pontos com a meta-habilidade no ciclo de cinco rodadas; • 24 páginas, 12 figuras e 4 tabelas no artigo.

O que mudar nos pipelines de agentes

Para equipes que montam agentes com uma mistura de modelos, a conclusão é direta. A biblioteca de habilidades não deve ser copiada entre executores sem validação. Uma habilidade ajustada em um modelo de ponta pode causar prejuízo ao ser transferida para um modelo pequeno, como o Gemma-4-E4B. Antes do deploy, vale rodá-la no executor de destino e comparar com a versão sem a habilidade.

O segundo ponto prático é o custo. A adaptação funciona mesmo sem traços de execução: bastam um modelo reescritor forte e a meta-habilidade. É uma forma conveniente de preparar habilidades para modelos locais baratos, que compensam mais para rodar em volume. O terceiro ponto é o diagnóstico. As quatro categorias de falha (ferramentas, contexto, seguimento de instruções e verificação) podem servir de checklist na análise de falhas de um agente e na escrita de habilidades do zero. As formulações exatas da meta-habilidade estão publicadas na página do projeto, e o preprint está disponível no arXiv sob o número 2610.33024.