Habilidades para agentes de IA não são universais: modelos fracos precisam da própria versão do prompt

Habilidades para agentes de IA não são universais: modelos fracos

precisam da própria versão do prompt

Um grupo de pesquisa da Universidade da Academia Chinesa de Ciências, UC Santa Cruz, Universidade Nacional de Singapura e do Instituto de Software da Academia Chinesa de Ciências identificou um problema pouco óbvio em agentes de IA com autoaprendizagem: as instruções que um agente escreve para si mesmo após concluir tarefas — chamadas de "skills" — não ajudam todos os modelos da mesma forma.

A ideia por trás da evolução autônoma do harness (harness self-evolution) é que o agente, sem alterar seus próprios pesos, acumule experiência em forma de instruções textuais e as consulte ao enfrentar tarefas semelhantes depois. Em três benchmarks e sete modelos de níveis diferentes, a equipe encontrou 103 pares de tarefa mais skill nos quais o efeito de uma mesma instrução divergia drasticamente: o GPT-5.6-luna ganhou 31,1 pontos ao usá-la, enquanto o mais fraco Gemma-4-E4B perdeu 8,8 pontos em comparação a não ter instrução alguma. Ou seja, a instrução não era apenas inútil para o modelo fraco — ela o prejudicava ativamente.

Por que modelos fracos falham mesmo com a instrução em mãos

Os pesquisadores analisaram os logs das execuções fracassadas e descobriram que o problema não era falta de informação. Em 86% dos casos, o modelo fraco violava uma exigência que estava explicitamente escrita na skill — ele simplesmente não conseguia se orientar por ela. As falhas se dividiram em quatro padrões recorrentes:

• Confusão com ferramentas — o agente tenta chamar uma ferramenta que não existe, confunde um arquivo com uma ferramenta, ou para após um erro sem tentar contorná-lo.
• Perda do contexto da tarefa — o agente se desvia para os exemplos e materiais de referência presentes na skill, esquecendo a tarefa real, ou salva o resultado no lugar errado.
• Cumprimento incompleto das instruções — o agente executa várias etapas e entrega um resultado, mas atende apenas parte das exigências explícitas da skill.
• Falta de verificação — erros permanecem na resposta final porque o agente nunca relê nem recalcula o resultado por outro caminho.

Uma meta-skill como modelo universal de reescrita de instruções

Para corrigir isso, os pesquisadores usaram o Claude-Opus-5 como assistente na elaboração de uma "meta-skill" — um protocolo fixo e independente da tarefa para reescrever instruções. Ele exige: separar claramente na instrução as ferramentas reais dos documentos, descrever antecipadamente verificações de ambiente e erros comuns; abrir a skill com a formulação da tarefa do usuário, os limites das alterações permitidas e o caminho para salvar o resultado, mantendo isso explicitamente separado dos exemplos; formular cada exigência com uma forma explícita de verificar seu cumprimento; e encerrar a skill com uma etapa dedicada de autoverificação — reler o resultado, recalculá-lo por outro método, comparar com um limiar e repetir se necessário.

O efeito foi testado em dois modos. O primeiro, sem logs de execução: o poderoso reescritor Kimi-K3 recebia apenas a tarefa, a skill original e a lista de ferramentas disponíveis ao executor, e reescrevia a skill seguindo o meta-template. O resultado: três executores fracos (Qwen3.6-flash, Gemma-4-E4B, Qwen3.5-9B) melhoraram entre 5,1 e 14,1 pontos em relação à instrução original. Para comparação, dar ao mesmo Kimi-K3 apenas uma frase genérica — "reescreva isso para funcionar com todos os modelos" — sem a meta-skill produziu um ganho bem menor e instável; o Qwen3.5-9B até caiu um pouco. A meta-skill adiciona mais 5,1 a 6,0 pontos sobre isso — mais da metade do ganho total.

Autoaprendizagem em ciclo: o modelo reescreve a própria instrução

O segundo modo foi um ciclo mais realista de cinco rodadas, no qual o próprio modelo executa a tarefa e reescreve sua própria instrução com base no rastro de execução e na resposta do verificador. Os resultados aqui são reveladores: sem a meta-skill, a reescrita autônoma praticamente não ajuda os modelos fracos e é instável — o Qwen3.5-9B atinge o pico na terceira rodada e depois cai quase ao nível inicial —, enquanto o modelo mais fraco, Gemma-4-E4B, permanece abaixo da linha de base em todas as rodadas.

Com a meta-skill, o cenário muda: todos os sete modelos testados — de Gemma-4-E4B até o líder Kimi-K2.5 — superam a versão sem meta-skill até a quinta rodada, com diferença de 2,0 a 5,1 pontos.

A conclusão prática para equipes que constroem agentes com instruções autoevolutivas é clara: não se deve assumir que a mesma skill é igualmente útil para diferentes executores combinados com modelos distintos — um executor com modelo-carro-chefe poderoso e outro com modelo aberto compacto. Se um projeto usa modelos de níveis diferentes, as instruções devem ser adaptadas separadamente, em vez de copiadas palavra por palavra — caso contrário, o modelo fraco pode acabar tendo desempenho pior do que se nunca tivesse recebido instrução alguma.