Skill∞: agente melhora suas próprias habilidades e sua própria metabilidade, 60,7% no SkillsBench

Uma equipe da Universidade Nacional de Singapura propôs uma forma de fechar o ciclo de autoaperfeiçoamento no ponto em que isso é mais fácil de fazer na prática: o nível das habilidades dos agentes de linguagem. O sistema Skill∞ usa um metaagente que segue uma metabilidade para otimizar habilidades voltadas a tarefas específicas e, em seguida, aplica o mesmo procedimento à própria metabilidade. No benchmark SkillsBench, com 83 tarefas, o método atingiu uma taxa de aprovação de 60,7%. As habilidades elaboradas por humanos chegam a 56,4%, enquanto o concorrente automático mais próximo, o SkillEvolver, atinge 54,5%. A diferença em relação aos humanos é de 4,3 pontos percentuais; em relação ao SkillEvolver, de 6,2 pontos.

Por que habilidades se prestam à recursão

A autoaperfeiçoamento recursivo (RSI, na sigla em inglês), em que um sistema melhora a si mesmo e também a própria forma de se melhorar, é há tempos visto como um dos caminhos possíveis rumo à AGI. Os autores abordam a questão por um ângulo prático. Os agentes de linguagem armazenam cada vez mais seu conhecimento procedural na forma de habilidades reutilizáveis, ou seja, pacotes de instruções que o agente carrega conforme a tarefa. Se o próprio procedimento de otimização também for formulado como uma habilidade, ele pode ser melhorado com as mesmas ferramentas usadas para qualquer outra habilidade.

Os otimizadores de habilidades existentes não funcionam assim: seguem um procedimento criado por uma pessoa. Mesmo os métodos que fazem a metabilidade evoluir a prendem a um pipeline fixo e a retreinam do zero a cada tarefa. O Skill∞ elimina as duas limitações: a metabilidade não está atrelada a um pipeline nem é retreinada do zero.

O que o metaagente faz

A otimização no Skill∞ é feita pelo próprio agente, e não por um script externo. A metabilidade descreve quatro ações, e o autoaperfeiçoamento pode reescrever cada uma delas:

• diagnóstico de traços de execução: o agente analisa onde e por que uma habilidade falhou nas tarefas;
• geração de candidatos: com base no diagnóstico, o agente propõe novas versões da habilidade;
• revisões independentes: o agente solicita a avaliação dos candidatos a revisores separados;
• alocação do orçamento de busca: o agente decide por conta própria onde direcionar os recursos limitados.

Outra característica é o desacoplamento de níveis. A metabilidade é separada das habilidades de tarefa. Ela é refinada em várias tarefas de otimização de habilidades e depois reutilizada em diferentes domínios sem retreinamento. As habilidades em ambos os níveis continuam sendo pacotes padrão, carregados pelo mecanismo normal de descoberta de habilidades, como em uma implantação real. Não é necessária infraestrutura separada para implementá-lo.

Os números do SkillsBench

A comparação foi feita em 83 tarefas do SkillsBench, medida pela proporção de tarefas aprovadas:

• Skill∞ — 60,7%;
• habilidades escritas por humanos — 56,4%;
• SkillEvolver — 54,5%.

A principal conclusão não está no valor absoluto. As habilidades otimizadas automaticamente superaram as elaboradas manualmente, e o procedimento que as otimizou era, ele mesmo, produto de otimização. Os autores do trabalho são Wangcheng Tao, Zhanglu Yan, Han Wu e Weng-Fai Wong. O preprint foi publicado como arXiv 2610.35434 e entrou na seleção diária do Hugging Face Papers.

O que as equipes que constroem agentes podem aproveitar

Se a sua stack já usa habilidades empacotadas em formato padrão, vale a pena observar duas ideias deste trabalho. A primeira: o procedimento de melhoria de habilidades também pode ser descrito como uma habilidade, em vez de embutido no código do pipeline. Assim ele é ajustado com as mesmas ferramentas e sobre os mesmos traços. A segunda: é melhor deixar a revisão independente de candidatos e o gerenciamento do orçamento de busca a cargo do próprio agente, já que são etapas que a metabilidade pode redesenhar conforme a tarefa.

Por ora, trata-se de um resultado em um único benchmark de 83 tarefas, e a transferência para cargas de trabalho reais ainda precisa ser verificada. Mas a direção é clara: as bibliotecas de habilidades deixam de ser pastas estáticas de instruções e começam a se elevar sozinhas a um nível que antes exigia ajuste manual. Os otimizadores automáticos já superam as anotações humanas, e o autoaperfeiçoamento embutido do procedimento lhes deu alguns pontos percentuais extras.