GPT-6 Astra ajustou 0,016% dos pesos do Qwen e elevou o GSM8K de 13,8% para 67,1%

É uma dor conhecida: você executa um modelo pequeno numa tarefa de raciocínio, e ele gira em círculos, repete o mesmo trecho de texto e acaba esbarrando no limite de tokens sem dar uma resposta. Normalmente isso é tratado com prompts, penalidades por repetição ou fine-tuning. Pesquisadores do MIT CSAIL tentaram outro caminho: entregaram o conserto a um agente de IA e permitiram que ele editasse os próprios pesos.

O que exatamente foi feito

O GPT-6 Astra recebeu acesso aos pesos do Qwen3.5-0.8B via Python e um orçamento de até 50 execuções de teste. A condição era rígida: nada de gradientes, retropropagação ou otimizador. Apenas análise e edição direta dos números no modelo.

Primeiro, o agente observou o comportamento. Descobriu-se que, na maioria dos casos, o modelo não errava na lógica, simplesmente não conseguia parar: 93% das respostas esbarravam no limite de tokens. Ou seja, a capacidade de resolver as tarefas existia, mas o mecanismo de encerramento do raciocínio estava quebrado.

Em seguida, a Astra localizou a causa nos blocos MLP das camadas 15 e 19, encontrou no espaço de pesos uma direção associada ao looping e corrigiu 131.072 parâmetros. Isso equivale a cerca de 0,016% de 800 milhões.

Resultados

Os números impressionam:

• MATH-500: de 7,9% para 48,1%
• GSM8K: de 13,8% para 67,1%
• proporção de respostas que esbarraram no limite de tokens: de 93% para 33,1%

Na essência, não se "ensinou matemática" ao modelo, e sim removeu-se um obstáculo. É como um carro com o motor em bom estado, mas com o acelerador emperrado: depois do conserto ele não ficou mais potente, apenas passou a andar como deveria.

Os autores chamam a abordagem de Weight-Space Programming: o comportamento do modelo é corrigido como código, de forma pontual e num lugar específico, e não por um treinamento espalhado por todos os parâmetros.

Limitações

Primeiro, o que vale levar em conta. Trata-se de um único blog e de um único modelo pequeno. Os números de base do Qwen3.5-0.8B são muito baixos (7,9% no MATH-500), e uma parte significativa do ganho se explica pelo fato de o modelo original estar literalmente quebrado no modo de raciocínio. Levar um modelo assim a um nível decente é mais fácil do que melhorar um já forte.

Há também uma confirmação direta: no Gemma 3 270M, que não tinha o problema de looping, o método quase não trouxe ganho. Portanto, não é um "acelerador de matemática" universal, mas uma forma de tratar um defeito específico, caso o modelo o tenha.

Também não está claro até que ponto o resultado é reproduzível sem acesso ao GPT-6 Astra. O próprio agente, pela descrição, fez o principal trabalho analítico, o que é caro e fechado. Ainda não há verificação independente.

O que fazer com isso

Para desenvolvedores que executam pequenos modelos open source localmente ou em produção, há algumas conclusões práticas:

• Antes de fazer fine-tuning, meça a proporção de respostas que esbarram no limite de tokens. Se for enorme, talvez você não tenha uma falha de conhecimento, mas uma falha de parada.
• O diagnóstico importa mais que o tratamento: entender qual camada e qual direção respondem pelo defeito já é metade do trabalho.
• A edição cirúrgica de pesos é mais barata que o fine-tuning e dispensa dataset, mas quebra o pipeline habitual de versionamento de modelos. Esses patches terão de ser documentados e testados contra regressões.
• Para os product managers, é um sinal: em um ou dois anos, "consertar o comportamento de um modelo" pode ser tarefa de um agente, e não de uma equipe de engenheiros de ML.

A principal conclusão é que a interpretabilidade está se tornando uma ferramenta prática. Se a IA realmente consegue encontrar um mecanismo específico de falha e corrigi-lo nos pesos, isso deixa de ser um jogo acadêmico e passa a ser uma nova forma de manter modelos. Mas, por enquanto, vale esperar a reprodução em outros modelos e em benchmarks independentes.