RSIHub reúne 4 métodos de evolução de agentes em um só framework: ganho de até 13,5 p.p.

As pesquisas sobre agentes que se autoaperfeiçoam esbarram em trabalho repetitivo: cada equipe reescreve do zero a mesma estrutura de apoio para execuções, avaliação e controle de versões. A equipe de Zimu Wang apresentou o RSIHub, um framework de código aberto que transfere essa estrutura para uma infraestrutura comum. Sobre ela, os autores rodaram quatro métodos de evolução de agentes e os compararam em dois benchmarks. O maior ganho no pass@1 geral foi de 13,5 pontos percentuais. A conclusão principal é mais modesta que o título: não existe um vencedor para todos os casos.

Evolução de agentes como um conjunto de peças intercambiáveis

A evolução de agentes funciona assim: o agente executa tarefas, o sistema coleta o feedback e, com base nele, reescreve prompts, habilidades, ferramentas ou o esquema de orquestração. A ideia é simples, mas as implementações costumam ser feitas sob medida para um artigo específico e são incompatíveis entre si.

No RSIHub, um método é descrito como uma "receita". Ela é montada com operadores reutilizáveis e declara de forma explícita quais recursos podem ser alterados. A plataforma cuida do resto: execução, avaliação, recuperação após falhas e rastreabilidade da origem dos candidatos (lineage). O pesquisador escreve apenas a política de evolução, ou seja, decide o que mutar e quem manter.

A decisão de arquitetura mais importante diz respeito à avaliação. Ela fica fora da superfície modificável, e o agente não consegue reescrever o próprio examinador. Para sistemas que editam a si mesmos, isso protege contra a trapaça mais óbvia. Cada resultado está vinculado a um candidato específico e às condições de avaliação, então é possível rastrear de volta a história de qualquer melhoria.

Quatro métodos sobre a mesma base

Os autores implementaram os métodos sem alterar uma única linha do núcleo do framework. Toda a especificidade ficou nas receitas e nos operadores. Esse é o principal teste prático de composabilidade.

• AHE — o primeiro método de evolução de agentes reproduzido.
• Hyperagents — uma abordagem para agentes que modificam a si mesmos.
• A-Evolve — um método de evolução de agentes baseado em feedback.
• GEPA — um método de otimização por reflexão sobre os resultados de execução.

O ambiente de avaliação foi montado assim:

• Arcabouços de agentes: MiniSWE e Codex.
• Benchmarks: Terminal Bench 2 (tarefas no terminal) e τ³ Banking (cenários bancários).
• Condições: configurações fixas de modelo e de avaliador, para que a diferença dependesse apenas do método de evolução.
• Métrica principal: pass@1 geral.
• Melhor resultado: +13,5 p.p. de pass@1.

Onde os números contrariam as expectativas

O mais interessante nos resultados não é o recorde, mas os seus limites. O ranking dos métodos muda de uma configuração para outra. Um método que lidera com um arcabouço ou benchmark pode perder em outro. O ganho nas tarefas usadas na otimização nem sempre se mantém nas tarefas reservadas. É o overfitting clássico, só que agora ocorre no nível de prompts, habilidades e ferramentas, e não dos pesos.

Para o setor, é um sinal incômodo, mas útil. Artigos sobre autoaperfeiçoamento de agentes costumam comparar o próprio método com o dos outros usando uma estrutura própria e premissas próprias. Um protocolo comum simplifica essas comparações. Ele também torna visíveis os casos em que o ganho depende de uma coincidência favorável de condições.

O que fazer com isso

Equipes que constroem agentes de programação ou assistentes corporativos podem usar o RSIHub como ambiente de testes. As receitas dos quatro métodos já estão prontas e podem ser executadas nas tarefas da própria equipe, sem a necessidade de escrever a estrutura de apoio do zero.

As regras práticas decorrem dos próprios resultados. Mantenha um conjunto reservado e avalie nele, não apenas nas tarefas de otimização. Não confie no ranking de um único benchmark. Guarde o lineage de cada candidato para entender qual mudança gerou o ganho. O código está aberto no GitHub (simple-agent-lab/RSIHub), o projeto já acumula 186 estrelas, e os autores pedem contribuições na forma de novos métodos de evolução e benchmarks. Se novas receitas surgirem no ecossistema, a comunidade terá uma forma comum de verificar quais delas funcionam além de um único artigo.