LM2LM: Qwen3.8-27B supera o GPT-6-sol em ideias para melhorar LLMs e custa 33% menos

A ideia de que uma rede neural melhore outras redes neurais há tempos é discutida como caminho para o autoaperfeiçoamento recursivo. A equipe do LM2LM apresentou uma versão funcional: um modelo de linguagem foi treinado com RL para gerar propostas eficazes de melhoria para LMs. Na validação em tarefas held-out, em oito ambientes de desenvolvimento, autorregressivos e de difusão, o Qwen3.8-27B superou o GPT-6-sol. O GPT-6-sol perdeu mesmo com 300 registros experimentais reais no contexto, e a geração de dados do LM2LM saiu 33% mais barata.

Por que não dá para montar uma recompensa honesta por uma ideia

O principal obstáculo é econômico. Para ensinar um modelo a propor boas melhorias, o RL precisa avaliar dezenas de milhares de propostas. No limite, cada uma exige uma rodada completa de treinamento do modelo. Se considerarmos dez horas de GPU por rodada, só as recompensas consumiriam centenas de milhares de horas de GPU. Para a maioria dos laboratórios, esse orçamento é irreal, e é preciso um substituto barato.

O substituto traz um problema próprio. A avaliação por um modelo substituto (surrogate) é confiável enquanto a política gera propostas parecidas com aquelas usadas para construí-lo. Quando a otimização começa a deslocar a distribuição das propostas, a política encontra justamente as que o surrogate superestima. É o clássico reward hacking: o modelo aprende a agradar o avaliador, e não a melhorar modelos reais.

Modelo de mundo de pesquisa e checagem com a realidade

O LM2LM resolve os dois problemas com a combinação de dois elementos. O primeiro é o research world model (RWM): uma LLM congelada que recebe no contexto registros de experimentos reais. Com base neles, ela prevê o ganho que uma nova proposta traria. O RWM funciona como reward model para o RL e substitui milhares de treinamentos completos por uma única chamada ao modelo.

O segundo elemento é a checagem periódica. As propostas da política atual que o RWM avaliou melhor são de fato executadas, e os resultados medidos entram no contexto do RWM. Assim, o avaliador enxerga exatamente a região do espaço de ideias para onde a política migrou e se recalibra justamente onde ela corre o risco de enganá-lo. Os candidatos mais suspeitos, isto é, os que receberam notas altas, passam por uma execução real.

Principais parâmetros do trabalho:

• política: Qwen3.8-27B treinado com RL;
• reward model: LLM congelada (RWM) com registros experimentais reais no contexto;
• baseline: GPT-6-sol, que recebeu 300 registros reais no contexto;
• ambientes: oito ambientes de desenvolvimento de LMs, autorregressivos e de difusão;
• avaliação: execução real das propostas em tarefas held-out;
• economia: custo de geração de dados 33% menor;
• generalização: transferência para uma família de modelos que não apareceu no treinamento.

Vale destacar as condições da comparação. O GPT-6-sol recebeu uma dica forte, os 300 registros reais, mas um modelo de escala menor, com a capacidade treinada, ainda assim se saiu melhor. Ou seja, transmitir a experiência acumulada por meio do treinamento da política é mais eficaz do que por meio de um contexto longo em um modelo mais generalista.

Onde isso pode ser útil na prática

Para equipes que conduzem muitos experimentos de treinamento de modelos, o mais valioso é que os logs de execuções anteriores viram um ativo. Os registros sobre quais mudanças de hiperparâmetros, dados ou arquitetura funcionaram podem servir de contexto para o RWM e de fonte de sinal de treinamento para o gerador de ideias. As execuções caras ficam reservadas apenas para validar os candidatos mais promissores.

Há também uma conclusão cautelosa. O esquema só funciona com disciplina: sem verificação regular por execuções reais, o surrogate passa a superestimar ideias, e a política vai atrás dele. O orçamento para experimentos reais precisará entrar no pipeline como uma despesa permanente. A transferência para uma família de modelos desconhecida indica que a experiência acumulada não está presa a uma única arquitetura, mas ainda será preciso testá-la nas próprias stacks.