É possível treinar um modelo de linguagem enquanto ele lê? Testaram em todas as arquiteturas

É possível treinar um modelo de linguagem enquanto ele lê?

Testaram em todas as arquiteturas

Uma equipe de pesquisadores partiu de uma pergunta aparentemente simples: e se um modelo de linguagem realmente aprendesse a partir de um texto longo enquanto o lê, dando pequenos passos de gradiente descendente em cada novo trecho, em vez de apenas processá-lo através de uma janela de atenção? A ideia não é nova — já foi testada em 2019 com a arquitetura Transformer-XL, e novamente em 2024 em modelos pequenos, de 150 milhões a 1 bilhão de parâmetros. Mas, desde então, a indústria avançou muito: surgiram modelos instruct de 2 a 30 bilhões de parâmetros, arquiteturas híbridas com atenção linear e modelos de linguagem de difusão. Para eles, essa técnica nunca tinha sido testada.

Para corrigir essa lacuna, os autores usaram uma receita mínima: descongelaram apenas as projeções de saída das camadas MLP no último quarto dos blocos do modelo, mantiveram a janela de atenção em 2 mil tokens, não fizeram nenhum treinamento do zero e, simplesmente, após cada trecho de texto de 128 tokens, aplicaram um passo de SGD sobre o erro de previsão do próximo token. Sem fine-tuning adicional, sem truques extras — apenas uma verificação limpa do que o passo de gradiente acrescenta além do que o modelo já faz com a atenção.

Para os transformers clássicos, realmente ajuda

Nos modelos com atenção softmax clássica — Qwen3-1.7B, Qwen3-4B e Gemma-4-E4B — o efeito foi consistente e perceptível: o erro de previsão de texto caiu entre 5% e 8% em termos absolutos em cada um dos 98 livros analisados e nas 100 decisões judiciais do conjunto de teste. E isso funcionou até melhor do que simplesmente dar ao modelo o documento inteiro (32 mil tokens) sem nenhum ajuste de pesos: nos casos em que a atenção comum não acrescentava nada, o passo de gradiente ainda eliminava mais 0,17 nat de erro.

Ou seja, a atenção "copia" o texto já visto, enquanto o passo de gradiente muda de fato o jeito de escrever do modelo — ajusta seu vocabulário e seu estilo ao documento.

Os modelos híbridos quase não precisam disso

O cenário é completamente diferente nos modelos com arquitetura Gated-DeltaNet — híbridos nos quais três de cada quatro blocos usam atenção linear em vez da clássica (Qwen3.5-4B, Qwen3.8-27B). Neles, o ganho do ajuste por gradiente foi inferior a 1%, e, com uma taxa de aprendizado mal escolhida, o modelo passava a prever o texto ainda pior. O motivo é que a atenção linear nesses blocos já funciona como uma espécie de "memória rápida": ao longo da leitura, ela atualiza seu estado interno seguindo uma regra delta, ou seja, se adapta continuamente ao documento por conta própria. O passo de gradiente extra só duplica algo que a arquitetura já faz de graça.

Nos modelos de difusão, ajuda ainda mais — mas com ressalvas

Nos modelos de linguagem de difusão (Nemotron-Diffusion-8B e DiffusionGemma-26B), o mesmo truque funcionou de forma ainda mais expressiva — ganhos de 8% e de 17% a 20%, respectivamente. Mas, para isso, foi preciso reduzir a taxa de aprendizado e limitar o tamanho de cada atualização de pesos: na taxa normalmente usada para transformers, o modelo divergia rapidamente, com o erro saltando de 9,3 para 41,6.

A principal limitação: é estilo, não memória

Em oito testes sérios de compreensão de documentos longos (RULER, HotpotQA, MuSiQue, SCOTUS e outros), o ajuste de pesos sobre o documento completo não recuperou nenhum ponto de precisão perdido pelo corte do contexto. Ou seja, o modelo realmente prevê o texto com mais precisão, mas não memoriza fatos concretos de um jeito que permita recuperá-los depois. Se o fato for "gravado" diretamente via treinamento no próximo token, o modelo memoriza o formato da frase, não o fato propriamente dito: numa pergunta comum, o reconhecimento cai para apenas 30%, contra 80% quando o fato é apresentado diretamente no contexto — e, além disso, a matemática piora, com uma perda de 36 a 38 pontos no GSM8K.

Outra abordagem funciona melhor: em vez de gravar o fato diretamente, os pesquisadores destilaram as próprias conclusões do modelo (obtidas, por exemplo, por meio de uma cadeia de perguntas de esclarecimento) em um adaptador LoRA compacto. Essa forma de gravar "comportamento" em vez de "fato" chega à qualidade do trabalho com contexto completo (0,83–0,88 contra 0,84–0,88) e não compromete as habilidades matemáticas do modelo.

A conclusão para engenheiros que pensam em treinamento em tempo real: essa técnica só faz sentido para transformers clássicos com atenção softmax e para modelos de difusão — e, mesmo assim, apenas como forma de ajustar o estilo e o vocabulário do modelo a um texto longo, não como substituto de uma busca real de fatos no documento. Para arquiteturas híbridas com atenção linear, ela é redundante, e, para gravar fatos concretos, o mais indicado é destilar conclusões em vez de treinar diretamente sobre o texto.