HACE treina em conjunto um modelo especialista e um agente LLM em três domínios

A equipe de autores do artigo Heterogeneous Agentic CoEvolution propõe um esquema em que dois modelos diferentes se aprimoram ao mesmo tempo: um modelo de fundação altamente especializado e um agente LLM. O framework se chama HACE. Ele foi testado em três áreas: sistemas de recomendação, predição de funções de proteínas e predição de estabilidade de cristais. Nas principais métricas das tarefas, o HACE superou todos os métodos de autoaperfeiçoamento comparados. O resumo do artigo não informa os valores concretos dos ganhos, então só é possível avaliar a escala do efeito depois de ler as tabelas completas.

O problema: o especialista evolui, mas o método para aprimorá-lo fica parado

A ideia de agentes LLM que se aperfeiçoam sozinhos já não é nova: são sistemas que reescrevem os próprios prompts, código e estratégias e obtêm ganhos verificáveis. Mas, em áreas aplicadas, muitas vezes quem trabalha não são LLMs generalistas, e sim modelos especializados, com profunda expertise de domínio. Um modelo para proteínas ou estruturas cristalinas conhece sua área melhor do que qualquer generalista. Ainda assim, quem o aprimora continua sendo gente: são pessoas que selecionam dados, arquitetura e regime de treinamento.

Os autores apontam a dificuldade central. Quando o especialista fica mais forte, as estratégias usadas para fazê-lo avançar deixam de funcionar tão bem. O que trazia ganho num modelo fraco pode bater num teto num modelo forte. Logo, quem faz o aprimoramento também precisa mudar junto com o objeto aprimorado.

Como funciona o ciclo

O HACE monta um laço fechado com dois participantes e uma camada de integração entre eles.

• O especialista é treinado com supervisão (supervised learning) em dados selecionados ao longo do ciclo.
• O agente passa por on-policy reinforced self-training. A recompensa depende do ganho de qualidade verificado especificamente na versão atual do especialista.
• A exploração do agente, ou seja, o que ele tenta e descobre, vira material para a próxima rodada de treinamento do especialista.
• Uma busca evolutiva otimiza o interaction harness: como os modelos trocam informações e quais exemplos de treinamento são escolhidos.

Este último ponto talvez seja o mais interessante. O harness não é fixado de antemão. Ele evolui conforme crescem as capacidades dos dois modelos. É a resposta ao problema inicial: as regras do jogo entre agente e especialista são revistas a cada etapa.

Há ainda um detalhe importante no sinal de recompensa. O agente é recompensado não por soluções que apenas parecem plausíveis, mas por uma melhoria confirmada. Isso reduz o risco de o agente aprender a gerar dados convincentes, porém inúteis para o especialista.

O que foi testado e o que ainda não dá para ver

A escolha dos domínios é reveladora. Sistemas de recomendação, predição de função de proteínas e predição de estabilidade de cristais diferem na natureza dos dados, nas métricas e na arquitetura dos modelos. O autor formula a conclusão com cautela: a coevolução heterogênea pode ser uma abordagem universal para aprimorar modelos de fundação especializados por meio da interação com um agente em aprendizado. Três domínios convencem como demonstração de amplitude, mas a "universalidade" ainda é uma hipótese.

O que continua incerto com base no texto do resumo:

• o tamanho do ganho em cada métrica e sua robustez estatística;
• quanto custa em computação o ciclo inteiro em comparação com um fine-tuning convencional;
• quais métodos de autoaperfeiçoamento foram usados como baseline e quão fortes eles são;
• como o sistema se comporta no longo prazo, quando o especialista está perto do teto.

Conclusão prática

Para equipes que mantêm modelos de domínio próprios, a principal ideia do trabalho é esta: vale usar o agente não como ferramenta pontual para ajustar hiperparâmetros, mas como parceiro permanente de treinamento, com recompensa por progresso mensurável. Se você tem uma verificação automática de qualidade confiável, como um benchmark com métrica inequívoca ou validação laboratorial, esse esquema é o que mais se aplica. Sem um sinal verificável, o laço perde o sentido.

Os engenheiros devem prever desde o início o custo do experimento. Cada rodada exige o fine-tuning do especialista, o treinamento do agente e a busca por configurações do harness. Enquanto os autores não publicarem os custos detalhados, o mais sensato é avaliar o HACE como um esquema de pesquisa promissor, e não como uma receita pronta para produção. Mas a direção é clara: o autoaperfeiçoamento está saindo das LLMs generalistas e chegando a modelos de nicho, onde dele dependem resultados em ciência e em recomendação.