Modelos aprendem na hora: um passo de SGD reduz a loss em 8% e supera 32k de contexto

Se um modelo de linguagem puder dar passos de gradiente diretamente sobre o texto que está lendo, ele passa a prever melhor o restante do documento. A técnica se chama dynamic evaluation e já é conhecida há bastante tempo. Mas ela quase nunca foi medida em arquiteturas híbridas com atenção linear, em modelos de linguagem de difusão e em benchmarks padrão de contexto longo.

Surya Saka fez essa medição. Em modelos com atenção softmax clássica, a loss de previsão do próximo token cai 5–8%. Além disso, um modelo com janela de 2k tokens e pesos atualizáveis supera o mesmo modelo congelado que viu todos os 32k tokens.

Já nas tarefas em que é preciso encontrar um fato num documento longo, não há ganho nenhum.

Um passo de SGD a cada 128 tokens em vez de contexto longo

A configuração é minimalista: um passo de SGD a cada chunk de 128 tokens, atualização apenas das projeções de saída dos MLPs no último quarto dos blocos, nenhum treinamento prévio e janela de atenção de 2k tokens. Para a infraestrutura, há um detalhe importante: o KV-cache de 2k tokens é cerca de 16 vezes menor que o de 32k, e o gradiente é calculado só na parte final da rede. No Qwen3-1.7B, no Qwen3-4B e no Gemma-4-E4B, o ganho de loss foi de 5–8% por documento.

Uma verificação separada cobriu tarefas de extração de informação. O autor rodou RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI e completar citações, com no mínimo 100 exemplos por teste e dois tamanhos de modelo. Os pesos atualizados com o documento completo não recuperaram nenhum ponto da acurácia perdida com o truncamento do contexto. A conclusão do autor: a adaptação ajusta estilo e vocabulário, mas não cuida da extração de fatos.

Híbridos já se adaptam sozinhos, e a difusão ganha o dobro

Nos modelos híbridos com Gated-DeltaNet, Qwen3.5-4B e Qwen3.8-27B, o ganho não passa de 1% com qualquer learning rate. A explicação é simples: os blocos de atenção linear atualizam o próprio estado ao longo da leitura, ou seja, já fazem essa mesma adaptação sem gradiente externo. Um SGD adicional quase nada acrescenta aqui.

Os modelos de difusão com mascaramento se comportam de outra forma. O mecanismo se transfere para eles, desde que o learning rate seja reduzido e as atualizações passem por clipping. Nesse caso, o efeito é maior que o dos modelos autorregressivos.

• Qwen3-1.7B, Qwen3-4B, Gemma-4-E4B (atenção softmax): −5–8% de loss, resultado melhor que o do modelo congelado com 32k de contexto.
• Qwen3.5-4B, Qwen3.8-27B (híbridos Gated-DeltaNet): menos de 1% com qualquer learning rate.
• Nemotron-Diffusion-8B (difusão mascarada): cerca de 8%.
• DiffusionGemma-26B (difusão mascarada): 17–20%.
• Configuração: um passo de SGD a cada 128 tokens, projeções MLP do último quarto dos blocos, janela de 2k.
• Benchmarks sem ganho de acurácia: RULER, BABILong, LongBench-v2, SCOTUS, HotpotQA, MuSiQue, ContractNLI, citation completion.

Fatos não são gravados nos pesos, mas conclusões são

A ideia ingênua é a seguinte: gravar um fato por meio do gradiente da loss de próximo token, e o modelo o memoriza. Na prática, o modelo memoriza o formato do prompt. Em prompts de chat, ele lembra 30% dos fatos, contra 80% quando eles são fornecidos no contexto. O custo também é alto: no GSM8K, o modelo perde 36–38 pontos com qualquer dose de atualização.

A alternativa proposta pelo autor grava a conclusão como comportamento. Os julgamentos do próprio modelo, condicionados à conclusão, são destilados em um adaptador de baixo posto. Em 100 jogos, o resultado foi de 0,83 e 0,88, contra 0,84 e 0,88 para a mesma conclusão fornecida no contexto. O GSM8K não muda. A própria conclusão pode vir de um inquiry loop, um ciclo em que o modelo busca a resposta fazendo perguntas pelo critério de information gain.

Onde encaixar isso na stack de inferência

Para equipes que rodam modelos softmax em documentos longos, a avaliação dinâmica pode substituir parte do contexto caro: uma janela curta somada a uma atualização online leve resulta em loss menor que 32k tokens com pesos congelados. Mas a técnica serve para modelagem de linguagem, estilização e trabalho com vocabulário restrito, como textos jurídicos ou médicos. Para RAG e busca de fatos em contratos, ela é inútil, e ali ainda são necessários contexto ou memória externa.

Nas arquiteturas híbridas, uma camada separada de SGD não compensa. Nos modelos de difusão, ela parece promissora, mas exige ajuste de learning rate e clipping. Já para fixar um conhecimento específico no modelo, a destilação da conclusão em um adaptador LoRA funciona melhor que gravar fatos diretamente pela loss: ela mantém a qualidade no nível do contexto e não prejudica a capacidade matemática. O trabalho tem 19 páginas, 13 figuras e 12 tabelas, e foi publicado no arXiv sob o número 2610.33025.