Tres neuronios entre 294.912 fizeram o Qwen3.5-4B afirmar que era um grao de cafe

Quando se pergunta a um modelo de linguagem “Quem e voce?”, parece que a resposta vem do prompt de sistema ou do ajuste fino. Um novo experimento publicado no Habr mostra que nem sempre e assim. O autor usou o Qwen3.5-4B e, sem recorrer a um unico prompt, alterou a atividade de tres neuronios entre 294.912. Depois disso, o modelo respondeu com conviccao a mesma pergunta: “Sou um grao de cafe da familia Bunnu, 100% Arabica”.

E importante observar que um unico neuronio nao foi suficiente para produzir esse efeito. Nao se trata de um “botao do cafe”, mas de um pequeno mecanismo composto de varias partes.

Como o “eu” do modelo foi montado a partir de tres partes

Segundo a descricao do autor, cada um dos tres neuronios e responsavel por uma parte do significado. O primeiro transforma o modelo em um objeto, ou seja, define o formato basico da resposta: “sou algum tipo de coisa”. O segundo responde pelo tema do cafe. O terceiro transforma o cafe em um grao, especificando exatamente que objeto e esse “eu”.

O teste e simples e convincente. Ao remover qualquer um dos tres componentes, a resposta se desfaz de maneira previsivel:

• sem o neuronio do “grao”, o resultado e uma cafeteira;
• sem o neuronio do “objeto”, surge algo parecido com uma “coffee rock”;
• sem a “condicao de objeto”, o modelo continua sendo um assistente de IA especializado em cafe.

Em essencia, este e um exemplo de interpretabilidade no nivel de neuronios individuais: em vez de reescrever o modelo, algumas ativacoes sao deliberadamente deslocadas durante a inferencia. Esse metodo e chamado de activation steering, ou intervencao em ativacoes.

E o “neuronio maligno” do Qwen?

O autor relaciona a descoberta a repercutida historia do “neuronio maligno” do Qwen. A conclusao e cautelosa: se a autodescricao e o comportamento do modelo realmente sao formados por pequenos conjuntos de neuronios, afirmacoes chamativas sobre um unico neuronio responsavel pelo “mal” devem ser avaliadas de forma critica. E mais provavel que qualquer caracteristica perceptivel dependa de uma combinacao, e nao de um interruptor isolado. Os detalhes e a metodologia usada para verificar se o resultado ocorreu ao acaso devem ser consultados no artigo original; aqui sao apresentados apenas os resultados relatados.

Limitacoes

Este e um experimento realizado com um unico modelo pequeno de 4 bilhoes de parametros e uma unica pergunta. Nao sabemos ate que ponto o resultado pode ser reproduzido em modelos de outros tamanhos e familias. Tambem nao ha garantia de que o trio identificado permaneca estavel quando se muda a formulacao, o idioma ou o contexto longo. Alem disso, temos apenas o relato do autor, e nao um estudo revisado por pares.

O que fazer com isso na pratica

Para equipes que desenvolvem produtos com modelos abertos, a conclusao e a seguinte.

1. A identidade e o comportamento de um modelo podem ser alterados nao apenas por prompts e ajuste fino. Em modelos open-weights, a intervencao em ativacoes se torna uma ferramenta real tanto para personalizacao quanto para ataques.
2. Ao realizar uma avaliacao de seguranca, nao limite os testes ao nivel dos prompts. Uma pequena alteracao dos estados internos pode contornar protecoes baseadas no texto das instrucoes.
3. Ao pesquisar interpretabilidade, procure um conjunto minimo, e nao um unico neuronio “principal”. E teste obrigatoriamente cada componente de forma independente, como fez o autor.

Em resumo: tres neuronios entre quase 300 mil nao provam que aprendemos a controlar a IA. Mas mostram claramente como podem ser frageis as ideias convencionais sobre a “personalidade” de um modelo.