Pesquisadores da UCAS ensinam LLM-agentes fracos a lidar com habilidades: até +14,1 pontos sem fine-tuning

Harnesses agênticos que acumulam experiência de execuções anteriores e reescrevem suas próprias "habilidades" são vistos como uma forma barata de melhorar LLM-agentes sem retreinar os pesos do modelo. Pesquisadores da Universidade da Academia Chinesa de Ciências (Zhihao Yang, Haojin Wang, Juncheng Wu e coautores, com Xianpei Han como autor principal) testaram se essa abordagem beneficia todos os modelos igualmente. Não beneficia. Em sete modelos e três benchmarks, eles encontraram 103 pares de "tarefa-habilidade" em que a mesma habilidade eleva o GPT-5.6-luna em 31,1 pontos e derruba o Gemma-4-E4B em 8,8.

Uma habilidade que o modelo fraco não consegue executar

A explicação intuitiva seria que o modelo fraco simplesmente carece de conhecimento. Os dados dizem o contrário. Em 86% das execuções fracassadas do modelo fraco, o requisito que ele violou já estava explicitamente escrito na habilidade. O modelo viu a instrução e não conseguiu aplicá-la. A instrução foi escrita em um nível que o executor não é capaz de implementar: uma cadeia de ações muito longa, suposições implícitas ou uso complexo de ferramentas.

Isso muda a forma de encarar o problema. Se uma habilidade desenvolvida por um modelo forte for transferida tal como está para um modelo fraco, ela pode piorar o resultado. E se um modelo fraco escreve sua própria habilidade a partir de suas próprias trajetórias, ele tende a fixar formulações que não consegue executar. O que é necessário é adaptar a habilidade ao executor: o mesmo significado, mas em uma forma que o modelo seja capaz de cumprir.

A meta-habilidade como instrução de reescrita

Os autores classificaram as falhas dos executores fracos em quatro categorias:

• execução de ferramentas (tool execution);
• gerenciamento de contexto (context management);
• seguimento de instruções (instruction following);
• verificação do resultado (verification).

A partir desses diagnósticos, eles montaram uma meta-habilidade fixa: um conjunto de princípios para reescrever uma habilidade de forma que fique mais fácil de executar. No primeiro experimento, o Kimi-K3 atuou como reescritor, adaptando as habilidades sem acesso aos traços de execução, baseando-se apenas na meta-habilidade. Três executores fracos superaram suas habilidades originais em 5,1 a 14,1 pontos.

Cinco rodadas de autoevolução

Depois, os pesquisadores incorporaram a meta-habilidade ao próprio ciclo de autoevolução. Durante cinco rodadas, cada modelo corrige sua própria habilidade com base nas trajetórias de execução e no feedback do verificador. Foram testados sete executores, do Gemma-4-E4B ao Kimi-K2.5. As pontuações finais com a meta-habilidade ficaram de 2,0 a 5,1 pontos acima das do mesmo ciclo sem ela. A melhora se manteve consistente em toda a faixa de modelos, não apenas na ponta fraca.

Números-chave do estudo:

• 7 modelos executores e 3 benchmarks;
• 103 pares de "tarefa-habilidade" com efeitos divergentes;
• +31,1 pontos para o GPT-5.6-luna e −8,8 para o Gemma-4-E4B nesses pares;
• 86% das falhas do modelo fraco ocorreram quando o requisito já estava escrito na habilidade;
• 4 categorias de falhas usadas para construir a meta-habilidade;
• +5,1–14,1 pontos para três executores fracos após a reescrita pelo Kimi-K3;
• 5 rodadas de autoevolução e um ganho de +2,0–5,1 pontos com a meta-habilidade.

O que mudar em projetos com agentes

A conclusão prática para quem constrói sistemas agênticos é que uma biblioteca de habilidades não pode ser considerada universal. Se o mesmo conjunto de instruções é distribuído para modelos de classes diferentes — por exemplo, um modelo caro para tarefas complexas e um modelo compacto e local para tarefas rotineiras —, cada executor precisa de sua própria versão. A reescrita pode ser delegada a um modelo externo forte, seguindo um conjunto fixo de regras, o que é mais barato do que executar um ciclo completo de autoevolução em um modelo fraco.

Em segundo lugar, ao avaliar harnesses com autoaprendizagem, vale observar não só o ganho médio, mas também os pares em que a habilidade prejudica o resultado. São justamente esses casos que revelam que uma instrução ultrapassou as capacidades do executor. O código e a página do projeto foram publicados pelos autores, então a meta-habilidade pode ser testada com tarefas e modelos próprios.