HyperRepair devolveu a LLMs ajustados 93,4% das habilidades gerais e manteve 99,5% da pontuação no domínio

Uma equipe da Shanghai Jiao Tong University e da University of Queensland descreveu o HyperRepair, método que devolve a um modelo de linguagem ajustado as habilidades gerais perdidas na adaptação a uma tarefa específica. Para isso, não são necessários dados do domínio-alvo nem treinamento adicional por parte do usuário: uma pequena rede lateral é conectada ao modelo congelado, e seus pesos são gerados por uma hiper-rede separada. Em 12 datasets de LoRA e 15 benchmarks gerais, o método recuperou 93,4% da pontuação geral média dos modelos-base e, ao mesmo tempo, manteve 99,5% da pontuação média de domínio das versões ajustadas.

Por que o reparo pós-ajuste esbarra em um trade-off

O ajuste fino melhora o modelo na área-alvo, mas enfraquece seu conhecimento geral e sua capacidade de raciocínio. Mesmo o LoRA, em que apenas uma pequena parte dos parâmetros é treinada, não protege contra o esquecimento catastrófico. As abordagens conhecidas se dividem em dois campos.

Um deles intervém no próprio processo de ajuste: regularização de parâmetros, replay de dados antigos, destilação, reestruturação de adaptadores e ponderação da loss. Essas técnicas exigem controle sobre o treinamento e não ajudam quando o checkpoint já está pronto. O outro campo atua a posteriori: faz merge de modelos ou poda pesos levando em conta o esquecimento.

Só que um único conjunto de pesos alterados vale para todas as consultas, e o ganho em habilidades gerais costuma ser pago com perda de especialização no domínio.

Os autores escolheram outro caminho. Os pesos do modelo ajustado permanecem intocados, e a correção fica em um canal separado. O modelo original é mantido como alternativa, e o próprio prompt permite decidir se a correção é necessária.

Rede lateral com gate e a hiper-rede que a gera

A Repairing Side Net (RSN) é uma rede transformer leve, conectada aos estados intermediários do modelo congelado. Ela produz uma correção residual para o estado oculto final, antes da "cabeça" de linguagem. Quem decide o quanto aplicar essa correção é o gate: ele calcula a média dos estados sobre os tokens do prompt e os passa por um pequeno MLP com sigmoide. O gate é treinado para dar 1 em consultas gerais e 0 em consultas de domínio sem rótulo. Com 0, o modelo devolve as mesmas previsões da versão ajustada.

O ponto mais interessante é como obter a RSN para um novo modelo sem treinamento. Cada modelo ajustado é descrito por uma "impressão digital de ativações": em um conjunto fixo de prompts gerais sem rótulo, mede-se quanto os estados ocultos de cada camada se deslocaram em relação ao modelo pré-treinado. Esse deslocamento é decomposto em direção e logaritmo da magnitude.

Um transformer codifica essas características camada a camada e forma representações locais e globais. A partir delas, a HyperNet gera os parâmetros da RSN junto com o gate: um template treinável comum, mais um termo adicional condicionado pela impressão digital. As correções matriciais são montadas a partir de fatores de baixo ranque, o que reduz o número de valores a gerar.

Primeiro, treina-se uma RSN própria para cada modelo de origem, e seus parâmetros se tornam os alvos da hiper-rede. Ela é treinada com três sinais: o erro quadrático médio entre os pesos gerados e os de referência, o alinhamento das características lidas pelo gate e uma loss funcional sobre as previsões do modelo com a RSN gerada conectada. A parte funcional é necessária porque erros nos pesos afetam tanto a própria correção quanto a decisão do gate. Na implantação, para um modelo de domínio desconhecido, calcula-se a impressão digital, executa-se a hiper-rede uma vez e conecta-se a RSN pronta.

O que os testes mostraram e onde ainda há dúvidas

Os autores avaliaram o método em duas famílias de modelos, 12 domínios de adaptação (classificação, perguntas e respostas, parsing semântico, sumarização de código) e 15 benchmarks gerais. Entre os checkpoints-base, aparece o Qwen2.5-7B; o texto da descrição é interrompido, então a segunda família e os detalhes dos datasets não estão visíveis. A hiper-rede foi treinada em modelos de origem e testada em domínios que não apareceram no treinamento. Na divisão padrão, o resultado foi 93,4% da pontuação geral dos modelos-base e 99,5% da pontuação de domínio dos modelos ajustados.

O sentido prático é claro: se uma empresa mantém muitos adaptadores LoRA sobre uma mesma base, reparar cada um com treinamento próprio cresce linearmente com o número de adaptadores, enquanto aqui o custo se resume a uma passada da hiper-rede. As limitações também são evidentes. O método depende de uma base pré-treinada comum, a correção adiciona computação à inferência, e os 93,4% significam que não há recuperação total. Se a abordagem funciona em outros tamanhos e arquiteturas e como o gate se comporta em consultas limítrofes, o texto disponível não deixa claro. Isso só uma replicação independente poderá verificar.