Editando 0,016% dos pesos, o GPT-6 Astra eleva a precisão do Qwen3.5-0.8B no MATH-500 de 7,9% para 48,1%

O trabalho Weight-Space Programming, noticiado pelo canal Neurogen no Telegram com referência ao MIT CSAIL, mostrou algo incomum: o GPT-6 Astra, um modelo de fronteira, consegue ler e reescrever diretamente os pesos de redes neurais de terceiros. Sem gradientes, sem retreinamento, apenas por meio de código executado em uma sandbox. O exemplo mais claro é o pequeno Qwen3.5-0.8B (cerca de 800 milhões de parâmetros). A Astra alterou apenas 131 072 pesos, ou seja, 0,016%, e a precisão do modelo no MATH-500 (conjunto de 500 problemas de olimpíada de matemática) subiu de 7,9% para 48,1%.

Como a Astra curou o loop no Qwen3.5-0.8B

Os pesquisadores pediram à Astra que melhorasse o Qwen3.5-0.8B em matemática. O modelo executou o Qwen em Python e observou seu comportamento. Constatou-se que a rede pequena entra o tempo todo em loops de raciocínio: 85 das primeiras 96 respostas esbarravam no limite de 32 768 tokens e eram cortadas sem chegar a um resultado.

Em seguida, a Astra localizou a origem do problema nos blocos MLP das camadas 15 e 19 e subtraiu dos pesos uma direção indesejada. No total, foram alterados 131 072 parâmetros de 800 milhões, ou 0,016%. Para isso, foram necessários 50 passes forward em problemas de treino e a edição manual dos pesos na sandbox.

Resultados após a edição:

• MATH-500: de 7,9% para 48,1%;
• GSM8K (problemas escolares de matemática em texto): de 13,8% para 67,1%;
• IFEval (avaliação de seguimento de instruções): de 21% para 62,3%;
• parcela de respostas que bateram no limite de tokens: de 93% para 33%.

A melhora no IFEval tem uma explicação simples: os loops eram um defeito geral de comportamento do modelo, e não um problema específico de matemática. Por isso, ele também passou a seguir melhor as instruções.

O que mais a Astra faz no espaço de pesos

Os autores mostraram outras tarefas, sem relação com matemática:

• a partir dos pesos brutos, a Astra identificou em qual jogo a rede foi treinada, sem uma lista de opções, e acertou os 4 casos;
• em pequenos modelos de linguagem de 7,2 milhões de parâmetros, apontou o idioma e encontrou todos os copying heads (cabeças de atenção que copiam trechos do contexto); o resultado coincidiu com as medições diretas;
• no ambiente Kinetix, consertou um carrinho que não conseguia subir a ladeira: a edição de 3,5% dos pesos permitiu completar todos os 1024 testes, enquanto antes nenhum era concluído;
• escreveu do zero os pesos para Breakout, Seaquest e Asterix; no Breakout, fez 517 pontos, contra 25,3 do PPO após 500 milhões de passos de treinamento;
• montou uma rede para Go com 1,5 milhão de parâmetros em uma única execução de um código de 336 linhas.

Onde termina o hype

O autor do resumo no canal faz ressalvas. A Astra não ensinou matemática ao Qwen: ela removeu um bug que impedia o modelo de levar a solução até o fim. No Gemma 3 270M, que não entra em loop e apenas calcula mal, a técnica não funcionou. Editar pesos elimina um obstáculo, mas não cria uma capacidade nova.

Tecnicamente, a abordagem se aproxima do steering vector (deslocamento das ativações em uma direção desejada), e a edição manual de pesos já existia: basta lembrar de ROME e abliteration. A novidade está em outro ponto: antes, quem fazia isso era uma pessoa com ferramentas especiais; aqui, o próprio modelo investigou a rede de terceiros, encontrou o problema e o corrigiu.

O resultado pode ser verificado. O checkpoint está publicado no Hugging Face, e há uma demo em que o Qwen base entra em loop, enquanto a versão corrigida responde. Além disso, os pesquisadores remontaram os pesos com verificação de hashes e rodaram a avaliação de novo: no MATH-500, o resultado foi 51,0%, um pouco acima do original. Os logs de todos os experimentos estão publicados no GitHub.

Para quem trabalha na prática, a conclusão é a seguinte: diagnóstico e cirurgia pontual de pesos podem se tornar tarefa para um agente, sobretudo quando um modelo pequeno tem um defeito de comportamento específico, como os loops. Mas não vale esperar que editar 0,016% dos parâmetros transforme um modelo fraco em um forte: a técnica corrige uma falha concreta, não acrescenta conhecimento.