Qwen 3.8 27B identificou tres jogos pelos pesos de redes neurais em um notebook comum

Para uma pessoa, os pesos de uma rede neural normalmente parecem uma tabela gigantesca de numeros decimais. Para entender o que um modelo aprendeu, um engenheiro o executa com dados de teste, cria graficos de ativacoes ou examina sua arquitetura com ferramentas especializadas. Um novo experimento aponta outro caminho: basta mostrar a um modelo de linguagem os pesos de uma rede pequena e pedir que explique o que ela faz.

Simon Willison testou esse cenario com o Qwen 3.8 27B executado localmente em um notebook. O modelo recebeu os parametros de quatro pequenos agentes de jogos e, em todos os casos, a mesma pergunta: para qual jogo essa rede foi treinada? Nada de Python, calculadora ou execucao do modelo — apenas um prompt longo cheio de numeros.

O resultado foi surpreendentemente forte. O Qwen identificou corretamente Pac-Man, Pong e Breakout. Ele errou Freeway, interpretando o jogo como uma variante de Pac-Man. Em outras palavras, o modelo local resolveu tres das quatro tarefas, embora cada analise tenha levado de 46 minutos a pouco mais de uma hora.

O que exatamente o modelo fez

Imagine uma pequena rede que controla a plataforma em Breakout. Algumas entradas descrevem as celulas do campo do jogo, enquanto outras camadas conectam a posicao da bola aos comandos “esquerda” e “direita”. Depois do treinamento, essas relacoes permanecem dentro das matrizes de pesos.

O Qwen tentou reconstrui-las manualmente: procurou coeficientes grandes, comparou-os com as coordenadas das celulas e verificou quais objetos poderiam influenciar as acoes do agente. No caso de Breakout, chegou a imagem correta: a plataforma fica na parte inferior, move-se horizontalmente e rebate a bola na direcao dos blocos. A confianca na resposta foi de 88%.

Para Pong, o modelo descreveu uma plataforma vertical a direita e uma bola em movimento pelo campo, indicando confianca de 75%. Para Pac-Man, reconheceu um labirinto, objetivos e ameacas em movimento com confianca de 72%. Nao foi apenas uma tentativa de adivinhar o nome pelo formato do prompt: as quatro tarefas diferiam somente pelos conjuntos de pesos.

Por que isso e importante para os desenvolvedores

O interesse pratico nao esta em substituir um depurador por um chatbot. Muito mais util e a possibilidade de obter rapidamente uma hipotese inicial sobre um modelo desconhecido ou danificado. Por exemplo, um engenheiro pode pedir a um LLM que encontre conexoes incomumente fortes, explique a finalidade de uma camada pequena ou compare duas versoes dos pesos apos o ajuste fino.

Essa abordagem pode ser util para auditar modelos pequenos, investigar regressoes e analisar componentes de redes neurais cuja documentacao foi perdida. Um modelo de linguagem consegue relacionar os numeros a conceitos de engenharia compreensiveis e sugerir onde investigar em seguida. Ainda assim, suas conclusoes precisarao ser verificadas por meio da execucao do modelo e de ferramentas convencionais de diagnostico.

Ha tambem um cenario mais ousado: editar pesos sem um treinamento completo. Os autores do trabalho original informaram que o GPT-6 Astra alterou 0,016% dos parametros do Qwen3.5-0.8B e elevou o resultado no MATH-500 de 7,9% para 48,1%. No entanto, os criticos observam que parte desses experimentos envolve codigo e operacoes familiares aos pesquisadores tradicionais de ML. Portanto, a leitura de pesos sem ferramentas e o reparo automatico de um modelo devem ser considerados duas tarefas diferentes.

Onde esta o limite

O experimento ainda nao pode ser chamado de metodo confiavel de engenharia reversa. Foram testadas redes compactas de jogos, com entradas compreensiveis e um pequeno numero de respostas possiveis. Mesmo nessas condicoes, o Qwen errou um dos quatro jogos. A analise de cada exemplo exigiu dezenas de milhares de tokens e quase uma hora de computacao, e partes do raciocinio sao dificeis de verificar.

Para grandes modelos de linguagem, a tarefa e muito mais complexa: bilhoes de parametros nao cabem integralmente em um prompt, e um fragmento isolado de pesos raramente tem um significado inequivoco. Alem disso, um texto confiante produzido pelo modelo nao garante uma interpretacao correta.

A conclusao pratica e simples: trate o LLM como uma ferramenta adicional de analise, nao como substituto da experimentacao. Comece com redes pequenas, exemplos de controle previamente conhecidos e perguntas especificas. Se o modelo encontrar padroes de forma consistente, suas conclusoes poderao orientar a proxima verificacao. Ainda e prematuro falar no fim do codigo-fonte, mas uma nova classe de ferramentas para auditar redes neurais ja comeca a surgir.