HeirCommit barra até 83% das atualizações prejudiciais em LLMs autoevolutivas

Pesquisadores mostraram que os modelos de linguagem autoevolutivos têm um ponto fraco: a escolha de qual versão do modelo passa para a rodada seguinte. Em tarefas verificadas, a maioria das atualizações não aumenta a probabilidade de respostas corretas, mas os ciclos R-Zero, Agent0 e Skill Self-Play herdam todas elas. O framework HeirCommit reduz em 68–83% a fatia de atualizações prejudiciais aceitas, em comparação com a herança aleatória, mantendo a mesma taxa de aceitação. A camada EvoHeir, testada em quatro modelos-base, entrega as melhores médias em matemática e em raciocínio geral. A nota média em matemática é 5,3% maior que a do Agent0, o baseline mais forte.

Onde a autoevolução quebra

O esquema de autoevolução funciona assim: o modelo gera tarefas, aprende com elas e entra na rodada seguinte já atualizado. A cada rodada, é preciso decidir qual versão do modelo será a herdeira. Nos ciclos existentes, essa decisão passa pela tarefa. Se a tarefa parece aprendível, ela entra no treinamento, e a atualização resultante é aceita por inteiro.

Os autores chamam o problema de lacuna entre seleção e atualização (selection-to-update gap). Uma tarefa que parece aprendível não precisa, necessariamente, produzir uma mudança útil nos pesos. Segundo a estimativa deles, a maioria das atualizações em tarefas verificadas não torna as respostas corretas mais prováveis. Ainda assim, o ciclo as herda, e os erros se acumulam de rodada em rodada.

Como funcionam o HeirCommit e o EvoHeir

O HeirCommit transfere a decisão da tarefa para o próprio modelo. A versão atualizada é congelada e testada em perguntas de avaliação novas. Com base no resultado, decide-se entre herdar o novo modelo ou manter o atual. As perguntas novas são importantes porque, nas que serviram para a seleção, a nota sai superestimada. Os autores chamam isso de efeito de seleção (selection-induced optimism) e o descrevem de forma analítica.

O EvoHeir vai além e separa dois canais de herança: parâmetros e experiência. O modelo pode reprovar na verificação, mas as tarefas e trajetórias com as quais ele aprendeu continuam úteis. A experiência atual e a arquivada é usada para corrigir erros e preservar soluções bem-sucedidas. A confirmação final só ocorre depois dessa etapa. Nas palavras dos autores, a experiência útil é preservada mesmo quando o modelo que a gerou não é herdado.

A parte teórica decompõe o regret em três componentes:

• erro de seleção, quando uma atualização ruim é aceita ou uma boa é rejeitada;
• erro de absorção, quando o modelo assimila mal o que lhe foi mostrado;
• erro de confirmação, quando a verificação final introduz ruído próprio.

Os números

• A fatia de atualizações prejudiciais entre as aceitas é 68–83% menor com o HeirCommit do que com a herança aleatória, no mesmo nível de aceitação.
• O EvoHeir foi testado em quatro modelos-base.
• Melhores médias em matemática e em raciocínio geral entre os métodos comparados.
• Ganho na média de matemática: 5,3% em relação ao Agent0, o baseline mais forte.

Comparar com a herança aleatória em uma taxa de aceitação fixa torna o resultado mais honesto. O ganho não se explica pelo simples fato de o método ter ficado mais rigoroso. A questão é apenas quais atualizações passam. O ganho de 5,3% é informado como relativo e, pela descrição disponível, não está claro quais benchmarks e modelos entraram na média.

O que levar para a prática

Se você está montando um ciclo de autoaprendizado para o seu modelo ou agente, o trabalho traz três conclusões práticas. Primeiro, não trate a admissão de uma tarefa como garantia de uma atualização útil: verifique o modelo final, e não apenas o material com o qual ele aprendeu. Segundo, mantenha um conjunto separado de perguntas novas para decidir sobre a herança. Se você reutilizar as perguntas que serviram para a seleção, a nota ficará superestimada. Terceiro, não descarte a experiência das versões rejeitadas. O arquivo de trajetórias pode ser usado para corrigir erros e consolidar acertos, e não é obrigatório aceitar o peso-candidato para isso.

As limitações também são evidentes. Perguntas de avaliação novas custam computação e dados, e os detalhes de implementação e a lista completa de benchmarks devem ser consultados no próprio artigo. Mesmo assim, a ideia de separar a escolha do modelo futuro da escolha da tarefa de treinamento se aplica a qualquer ciclo autoevolutivo.