RGR protege LLMs contra a perda de habilidades na autodistilação por meio da geometria das representações

Um modelo que ensina a si mesmo eleva a pontuação média nos benchmarks e, ao mesmo tempo, esquece em silêncio tarefas que resolvia antes. Foi esse o efeito encontrado pelos autores do preprint arXiv:2610.12855 na família de métodos on-policy self-distillation (OPSD). Eles também propuseram um antídoto: a regularização da geometria das representações, o RGR.

Como funciona o OPSD e onde ele falha

No OPSD, o mesmo modelo de linguagem desempenha dois papéis: professor e aluno. A diferença está apenas nos contextos em que ele é colocado. Não é preciso um modelo externo mais forte para a distilação: o sinal de treinamento vem do próprio modelo. Para o pós-treinamento, isso é conveniente: sai mais barato, escala com mais facilidade e não depende de pesos de terceiros.

O preço apareceu quando o treinamento foi analisado consulta a consulta, e não pelo resultado médio. Consultas que o modelo respondia corretamente nas etapas iniciais passavam, ao longo da otimização, a ser resolvidas de forma errada. A métrica geral continuava subindo: os novos acertos compensavam as perdas, e no gráfico tudo parecia em ordem. Quem acompanha apenas a média final pode deixar o problema passar.

Geometria das representações ocultas como indicador

Os autores relacionaram a degradação a uma mudança na estrutura das representações ocultas. Pelas observações deles, dentro dos clusters as representações ficam menos compactas, e os próprios clusters se separam pior uns dos outros. Em termos simples, o modelo começa a “misturar” o que antes distinguia e, com isso, perde parte das habilidades anteriores.

O RGR foi construído a partir dessa observação. O método adiciona uma regularização que, durante o pós-treinamento:

• mantém a compactidade dentro de cada cluster de representações;
• preserva a separação entre os clusters;
• se integra aos métodos OPSD existentes sem alterar o procedimento básico de otimização deles;
• foi testado em vários métodos OPSD e benchmarks, e o código está aberto no GitHub (repositório supermachinelearner/RGR).

A conclusão do abstract é formulada com cautela: o RGR “em geral” atenua a degradação e preserva o ganho de capacidades. O texto do abstract não traz números concretos, então só é possível avaliar a dimensão do efeito pela versão completa do artigo e pelo próprio repositório.

O que importa aqui e o que ainda não está claro

O valor do trabalho está tanto no diagnóstico quanto no método em si. O esquecimento durante a automelhoria é registrado no nível de consultas individuais, e a geometria das representações serve como um proxy mensurável para ele. Esse indicador pode ser calculado durante o treinamento, o que permite detectar o desvio antes que os benchmarks piorem.

Ficam em aberto perguntas que o abstract não responde: como exatamente os clusters são definidos, quanto custo computacional o regularizador acrescenta e como o método se comporta em modelos grandes e em execuções longas. A formulação “em geral” também indica que, em algumas combinações de métodos e tarefas, o efeito pode ser mais fraco.

O que verificar na prática

Se a sua equipe experimenta autodistilação ou outros esquemas de automelhoria, vale incluir dois passos na avaliação. Primeiro: acompanhar não só a pontuação média, mas também a fração de consultas que o modelo resolvia em checkpoints iniciais e depois deixou de resolver. Segundo: comparar execuções com e sem o RGR nos seus próprios dados. Como o método não altera o ciclo principal de otimização, conectá-lo a um pipeline OPSD já pronto não deve ser difícil, e o código aberto permite verificar o efeito declarado antes de qualquer decisão de adotá-lo.