Ajuste de um único eixo nos pesos do Qwen, sem treinamento, reduziu a fatia de respostas em loop de 93% para 33%

Imagine que seu modelo em produção vive travando num ciclo de "espera, deixa eu conferir de novo", queima todo o limite de tokens e nunca entrega a resposta. Esse problema costuma ser tratado com ajuste fino. O MIT CSAIL mostrou outro caminho: o modelo GPT-6 Astra editou diretamente os pesos de uma rede neural alheia, sem gradientes e sem treinamento.

No pequeno Qwen3.5-0.8B, a fatia de respostas que entravam em repetição infinita em problemas de olimpíada caiu de 93% para 33,1%.

Para isso, foram alterados 131 072 pesos em duas camadas, e o ajuste em si se resume a inverter uma direção. Esta é a segunda parte da análise publicada no Habr: o autor explica por que o loop se rompe e por que esse método não permite ensinar uma nova habilidade ao modelo. Para o engenheiro, a conclusão é prática: antes de consertar qualquer coisa, é preciso entender o que falta ao modelo.

Por que o loop se rompe

O autor comparou, bit a bit, o checkpoint base com o publicado. As matrizes down_proj das camadas 15 e 19 foram alteradas, e a edição tem rank 1: 99,999% da sua energia está concentrada em uma única direção. Essa direção não foi subtraída, e sim invertida: a componente ao longo desse eixo trocou de sinal.

O mecanismo fica mais fácil de visualizar como uma votação. A cada passo, o modelo decide se continua o mesmo trecho de texto ou se sai dele: fecha o bloco de raciocínio, escreve a resposta, muda de ideia. As camadas 15 e 19 antes lançavam o voto "continue". Depois do ajuste, votam "saia", e a balança passa a pender com mais frequência para a saída. O autor admite que isso é uma suposição: as camadas seguintes podem compensar parcialmente o deslocamento.

Ele testou a ideia em dois textos: a resolução comum de uma equação, com 220 tokens, e um loop artificial de "Wait, let me check again…", com 397 tokens. No loop, as MLPs base escreviam com mais intensidade ao longo do eixo em questão: 1,4 vez na camada 15 e 1,9 vez na camada 19. Depois do ajuste, o sinal ficou oposto. Dois textos são uma ilustração, não estatística, e o autor diz isso explicitamente.

Num modelo simples, a queda de 93% para 33,1% corresponde a um aumento de cerca de 15 vezes na chance de saída a cada token. Trata-se de um recálculo a partir dos números do artigo, não de uma medição direta. Mesmo assim, ele explica o essencial: quando a saída do loop só é possível com uma chance minúscula a cada passo, e os passos somam dezenas de milhares, a fatia de respostas presas fica muito sensível a essa chance. A verificação interna da Astra também fecha: 576 das 579 tarefas "resgatadas" eram antigas respostas interrompidas, e a acurácia nas respostas que já chegavam ao fim não mudou.

Um interruptor não ensina

A principal limitação é que a projeção não adiciona nada. A nova representação é calculada a partir da antiga, não passa a haver mais informação sobre a resposta correta nela, e a dimensionalidade não cresce. Não há aqui uma proibição estrita: o ajuste por inversão é reversível, e a computação pode tornar a informação mais acessível. Por isso, o autor formula a conclusão forte no nível do modelo. Um eixo com uma escala pode alternar o modo "continuar" ou "sair", mas não consegue inserir um algoritmo novo, como aritmética correta com vários dígitos.

Isso coincide com o fracasso no Gemma. O Qwen sabia resolver, só não conseguia parar, e o ajuste removeu o obstáculo. No Gemma, quase não há essa armadilha, os erros estão distribuídos pelos próprios cálculos, e não existe um "interruptor da incapacidade de calcular". Além disso, no Gemma 3 270M cerca de 62,6% dos parâmetros são embeddings, e restam aproximadamente 100 milhões para as 18 camadas do transformer.

A situação é bem diferente na tarefa de brinquedo com uma rede de 171 664 pesos. Ali era preciso adicionar uma única regra, algo como "primeiro dê ré, depois acelere". É possível inseri-la à mão com um par "se — então" em unidades ReLU, usando cerca de 5 900 pesos, ou aproximadamente 3,4%. O autor compara a estimativa com os 3,5% do post: a ordem de grandeza é a mesma. Dá para escrever à mão aquilo que se descreve de forma curta.

Trabalhos relacionados e o que levar para a prática

ROME e MEMIT também editam matrizes MLP, mas adicionam fatos ("A Torre Eiffel fica em…" com uma nova resposta), em vez de remover um obstáculo. O método da "direção de recusa", de Arditi e colegas, ortogonaliza todas as matrizes que escrevem no fluxo residual. A edição da Astra com 50 execuções é mais localizada: 2 matrizes e 64 colunas. A edição com 10 execuções fica mais próxima da de Arditi: 30 matrizes.

Para a prática, o autor sugere o seguinte enquadramento. Se o modelo sabe resolver, mas entra em loop, um ajuste pontual nos pesos pode ajudar. Se os erros estão nos próprios cálculos, não ajuda. Há ainda um risco: uma edição em menos de um por cento dos pesos muda o comportamento de forma perceptível, e é preciso uma edição de controle, com direção aleatória e mesma norma, para separar o efeito real de interferências colaterais. Uma edição de rank 1 é fácil de ver no diff de dois tensores, mas uma edição espalhada por muitas direções é difícil de encontrar.

Na parte de referência, ele também explica a estrutura dos pesos. No Llama 3.1 8B, cerca de 70% dos parâmetros estão nas MLPs. Em modelos MoE como Mixtral, Qwen3-30B-A3B e DeepSeek-V3, 95–97% dos pesos estão nos especialistas, e a edição precisará levar em conta o roteador.