SFT-as-context devolve habilidades gerais a LLMs ajustadas: diferença de apenas 2,2 p.p.

O ajuste fino de um modelo de linguagem quase sempre custa a ele parte das habilidades anteriores. Os autores de um preprint no arXiv propõem contornar esse custo sem um único passo de gradiente descendente. O método SFT-as-context faz o modelo original, o modelo-pai, responder à consulta mantendo no contexto a resposta de sua versão ajustada por SFT. Em 19 pares "modelo-pai — modelo SFT" e 11 benchmarks, a diferença em relação ao modelo SFT nas tarefas especializadas ficou em cerca de dois pontos percentuais. Nas habilidades gerais, o resultado ficou, em média, a até 2,2 p.p. do modelo-pai.

O problema: especialização à custa de esquecimento

O supervised fine-tuning transforma um modelo generalista em especialista em matemática, código ou outra área restrita. O efeito colateral é conhecido: parte das capacidades gerais do modelo-pai se perde. O pior caso são as consultas que exigem os dois conjuntos de habilidades ao mesmo tempo. O modelo ajustado pode resolver com segurança a parte da sua especialidade e errar o restante. O modelo-pai faz o contrário.

Geralmente, o problema é tratado com a mistura de dados gerais no treinamento, a fusão de pesos ou esquemas de ajuste fino mais cautelosos. Todos esses caminhos exigem computação e uma configuração cuidadosa. Aqui, os autores seguem outro rumo.

Como funciona o SFT-as-context

O esquema tem duas etapas. Primeiro, a consulta vai para o modelo SFT, que produz a sua resposta. Depois, o modelo-pai recebe a mesma consulta junto com essa resposta no contexto e formula o resultado final. Os pesos não são alterados. O modelo-pai absorve técnicas especializadas por in-context learning e, ao mesmo tempo, mantém suas próprias capacidades gerais.

Como consequência, cada consulta exige duas passagens pelos modelos e um contexto mais longo. O resumo do artigo não informa latência nem custo, então será preciso estimá-los por conta própria.

O que os testes mostraram

Os autores compararam o método com os dois modelos do par: com a versão SFT nas tarefas especializadas e com o modelo-pai nas gerais. Os principais números do resumo:

• 19 pares "modelo-pai — modelo SFT" e 11 benchmarks.
• AIME 2024: defasagem de 2,2 p.p. em relação ao modelo SFT.
• LiveCodeBench: defasagem de 2,1 p.p. em relação ao modelo SFT.
• NutriBench-English: diferença de 2,0 em macro MAE.
• Habilidades gerais: em média, a até 2,2 p.p. do modelo-pai.

O resultado mais interessante diz respeito às tarefas de fronteira. O método resolveu consultas que exigem tanto habilidades especializadas quanto gerais, mesmo quando nem o modelo-pai nem o modelo SFT davam conta sozinhos. A resposta do especialista funciona como uma dica, e o modelo-pai completa o que falta com o próprio conhecimento.

A abordagem não se limita a pares "aparentados". As respostas de um modelo SFT pequeno e aberto melhoraram o resultado de uma LLM fechada e mais forte, e a combinação superou cada modelo isoladamente. Para equipes que trabalham via API e não podem alterar pesos, essa é a conclusão mais prática do estudo.

Teoria e atenção

Os autores construíram um modelo bayesiano e derivaram limites de erro. Nas tarefas especializadas, o erro do método fica limitado em relação ao modelo SFT; nas gerais, em relação ao modelo-pai. São garantias dentro de um arcabouço teórico, não uma promessa para qualquer cenário real.

O mecanismo também foi verificado. Pelos mapas de atenção, o modelo-pai dá mais atenção às respostas úteis do modelo SFT e menos às irrelevantes. Isso lembra um uso seletivo da dica. Mas isso não serve como garantia de proteção contra uma dica errada, e, pelo resumo, não é possível dizer como o método se comporta diante de respostas SFT sabidamente incorretas.

Onde isso é útil na prática

Se você tem um modelo ajustado com falhas em tarefas gerais, vale testar o SFT-as-context como uma linha de base barata antes de experimentos caros de fusão de pesos. Basta um script com duas chamadas. Para produtos baseados em modelos fechados, surge mais um caminho: um modelo de domínio pequeno, rodando em hardware próprio, produz um rascunho de resposta, e um modelo forte na nuvem a refina até o resultado final.

Antes da adoção, convém medir três coisas: o ganho de qualidade nos seus dados, a duplicação da latência e do consumo de tokens, e a proporção de casos em que uma resposta errada do modelo SFT puxa o resultado final para baixo. Esses números não são divulgados no resumo do trabalho original, então a decisão terá de se basear em medições próprias.