Qwen escolhe o que lembrar: replay de um modelo congelado reduz o esquecimento

O fine-tuning de um modelo de linguagem quase sempre quebra algo que ele sabia fazer antes. Um novo trabalho no arXiv (cs.CL, 2610.12602) testa uma ideia incomum: deixar que o próprio modelo cuide da proteção das habilidades antigas. Os autores fizeram o fine-tuning de Qwen de vários tamanhos em uma sequência de instruções e descobriram que uma cópia congelada consegue gerar dados de replay que reduzem o esquecimento, inclusive em tarefas que não estão na lista de preservação. No tamanho 4B, o modelo ainda escolheu quais tarefas reproduzir com resultado melhor do que um sorteio aleatório. Nos modelos menores, essa vantagem não apareceu.

O problema: a lista de preservação é sempre incompleta

A formulação clássica de continual learning exige definir um conjunto de tarefas cujo desempenho não pode cair. Mas o conhecimento do modelo é mais amplo do que qualquer conjunto desse tipo, e o esquecimento não se limita aos itens verificados. O que ficou de fora do teste se degrada sem que ninguém perceba.

Trabalhos recentes mostraram que um modelo pode criar, por conta própria, um replay útil sem acesso aos dados de treinamento originais. Os autores seguem essa linha e perguntam: o modelo pode ajudar a escolher os alvos de preservação, de modo a se proteger de forma mais ampla do que um humano faria com uma lista limitada?

Como o experimento foi montado

Para o estudo, as descrições das tarefas e seus exemplos foram organizados em Task Banks. As entradas de um banco podem ser selecionadas e combinadas, e é a partir delas que o modelo congelado gera os dados de replay para o fine-tuning. Em seguida, é feito o continual instruction tuning em modelos da família Qwen de vários tamanhos.

Há um detalhe importante na métrica. Além da acurácia média, os autores acompanham quais das respostas antes corretas continuam corretas. A média pode parecer estável enquanto o modelo perde algumas respostas certas e, por acaso, ganha outras.

• Modelos: Qwen de vários tamanhos; o resultado-chave sobre a seleção de tarefas foi obtido no 4B.
• Método: replay gerado pelo modelo congelado a partir das entradas dos Task Banks.
• Métrica principal: retenção de respostas antes corretas (retention), inclusive em tarefas fora do banco.
• Comparação de seleção: escolha que considera a nova tarefa versus escolha aleatória.
• Limitação: orçamento fixo de exemplos de treinamento.

Três resultados

Primeiro: a nova tarefa e o learning rate influenciam quais habilidades se degradam. Acompanhar as respostas antes corretas revela perdas que a acurácia média esconde.

Segundo: o replay gerado reduz o esquecimento em tarefas fora do banco. Combinar bancos parciais reforça o efeito: a retenção média de respostas antes corretas fica acima da de qualquer banco isolado, em todos os tamanhos testados.

Terceiro: o modelo pode participar da escolha dos alvos do replay. No 4B, a seleção que considera a nova tarefa aumenta a retenção média nas tarefas reservadas (held-out) em comparação com a seleção aleatória, enquanto o ganho na própria nova tarefa permanece comparável. Os modelos menores não mostraram essa vantagem.

O preço da proteção

Não existe seguro de graça aqui. Com orçamento fixo de exemplos, trocar parte dos dados da nova tarefa por replay melhora a preservação, mas reduz o ganho na nova tarefa. O abstract não revela o tamanho desse trade-off, então será preciso avaliá-lo no texto completo e com os seus próprios dados.

Há também a questão da escala. Como a capacidade de escolher os alvos do replay só apareceu no 4B, não dá para considerá-la universal para qualquer modelo. Os resultados vêm de uma única família, e a transferência para outras arquiteturas precisa ser verificada à parte.

Conclusões práticas para equipes que fazem fine-tuning de modelos

Se você adapta um modelo aberto à sua tarefa e não guardou os dados originais, gerar replay com uma cópia congelada passa a ser uma opção viável de proteção. Comece com alguns bancos de tarefas pequenos e combine-os, em vez de depender de um só. Avalie não apenas a acurácia média, mas também a fração de respostas corretas preservadas, incluindo tarefas fora do seu conjunto de teste. Planeje o orçamento: cada exemplo de replay tira espaço dos dados da nova tarefa, e o equilíbrio deve ser ajustado de forma experimental. Faz sentido testar a seleção automática de tarefas para replay em modelos a partir de 4B; em tamanhos menores, por ora é mais sensato ficar nos esquemas já comprovados.