MIT: cópia enfraquecida ensina o modelo a raciocinar, com ganho de até +13 pontos de acurácia

Uma equipe do Instituto de Tecnologia de Massachusetts (MIT) encontrou um jeito de melhorar um modelo de raciocínio sem professor externo, sem soluções de referência e sem ambiente de verificação. O método se chama WISD. Os pesquisadores pegam o modelo original e criam a partir dele uma cópia deliberadamente mais fraca: ou arredondam os pesos de forma grosseira (quantização), ou descartam os menores (pruning). Depois, treinam o original com a diferença entre as duas versões. O resultado mais expressivo veio do Qwen3.5-4B. No HMMT 2025, competição de matemática de nível olímpico de Harvard e MIT, a acurácia passou de 57,7% para 70,5%. No LiveCodeBench v6, um conjunto de problemas de programação, subiu de 39,1% para 56,7%.

Por que enfraquecer o modelo?

A autodistilação, em que o modelo ensina a si mesmo, já virou prática comum. Mas os esquemas mais populares exigem "informação privilegiada": soluções de referência, análises de especialistas ou feedback de um ambiente. Esse professor sabe mais que o aluno porque enxerga uma dica. Se você tem apenas um punhado de problemas sem respostas, o esquema não funciona.

Os autores atacam o problema por outro lado. O professor não fica mais forte. O membro forte da dupla continua sendo o modelo original, e o parceiro fraco é criado artificialmente, com a deterioração dos pesos. A diferença nas preferências de tokens entre os dois dá o sinal de em que direção melhorar a política. Ideia parecida já apareceu em trabalhos sobre "o fraco ensina o forte". A novidade é que os dois modelos saem do mesmo checkpoint.

Como funciona, tecnicamente

O procedimento tem alguns passos:

• O modelo original gera soluções para problemas sem rótulos. Nos experimentos, são 3200 problemas, com quatro respostas para cada um.
• Dois modelos congelados, o original e a cópia enfraquecida, avaliam cada token dessas respostas com o mesmo contexto. O token recebe sinal positivo se o original o considera mais provável que a cópia fraca, e negativo no caso contrário.
• O aluno parte dos pesos do original e aprende a deslocar a distribuição em direção aos tokens com maior razão de probabilidades. As trajetórias e os dois modelos avaliadores não mudam durante o treinamento. Na inferência, só o aluno roda; não há cópia fraca por perto.

A cópia é criada de duas maneiras. Nenhuma delas exige dados de calibração nem ajuste fino:

• Quantização de baixa precisão. Os pesos são divididos em grupos, e dentro de cada um os valores são arredondados para um número pequeno de níveis, em um esquema simétrico.
• Pruning por magnitude. Dentro do grupo, os pesos abaixo de um limiar relativo são zerados, e depois a norma de cada linha de saída é restaurada ao valor original.

Só são deteriorados as projeções de atenção e das camadas totalmente conectadas, incluindo os especialistas nos modelos Mixture-of-Experts. Embeddings, cabeças de saída, normalizações e roteamento não são alterados. A arquitetura e o tokenizador permanecem os mesmos, por isso as previsões da cópia podem ser comparadas diretamente com as do original. Se as duas cópias fossem idênticas, não haveria sinal. A deterioração dos pesos cria uma diferença que depende de cada token.

O que mostraram os experimentos

O método foi testado em cinco modelos de famílias e tamanhos diferentes, densos e MoE: Qwen3-4B, OLMo-3-7B-Think, Qwen3.5-4B, Qwen3.6-27B e Qwen3.6-35B-A3B. Foram cinco testes: três de matemática, incluindo o HMMT 2025 e os problemas da Associação Matemática da América de 2026, e dois de código, incluindo o LiveCodeBench v6. Em matemática, o resultado é a média de 32 tentativas por problema; em código, de quatro.

• A quantização elevou a acurácia média em 4,0 pontos sobre os modelos originais, e o pruning, em 5,5.
• A melhora foi registrada em 21 de 25 pares "modelo — teste" com quantização e em 23 de 25 com pruning.
• O maior ganho foi do Qwen3.5-4B: a média nos cinco testes subiu 11,3 pontos com quantização e 13,4 com pruning.
• O pruning acrescentou ao Qwen3.6-27B, em média, 5,2 pontos.
• A quantização acrescentou ao Qwen3.6-35B-A3B 5,9 pontos. No HMMT 2025, ele foi de 68,5% para 74,6%; no LiveCodeBench v6, de 61,8% para 69,5%.

Os autores afirmam que, no Qwen3-4B e no OLMo-3-7B-Think, as duas variantes são competitivas com os métodos OPSD e SDPO, que precisam de soluções de referência ou de feedback. As médias do WISD nos cinco testes ficam acima dos números publicados desses métodos de base. Ressalva importante: a comparação usa resultados já publicados, e não uma nova execução de todos os métodos em condições idênticas. Trata-se de um preprint, e ainda não há verificação independente.

O que isso muda na prática

Para equipes que ajustam modelos abertos com dados próprios, o que chama atenção é o custo de entrada. São necessários apenas um checkpoint e um conjunto de problemas sem respostas. Não são necessários anotadores, ambiente de verificação nem um modelo externo forte. As operações sobre os pesos são simples e dispensam calibração, e uma das formas de enfraquecimento, a quantização, já faz parte do ferramental comum de implantação.

Ainda restam dúvidas. Os resultados foram obtidos em matemática e código, áreas com critérios claros de correção. Não está claro se o método se transfere para tarefas abertas sem esses critérios. Os experimentos usaram modelos de até 35 bilhões de parâmetros. Os autores publicaram o código no GitHub (jet-ai-projects/WISD), então já é possível conferir os números nos seus próprios modelos.