Goodfire: análise com agentes decifrou neurônios que eram vistos como caos

Nick Cammarata, da Goodfire, publicou o ensaio “Neural Networks Are Already Clean” e afirmou que as redes neurais são bem mais legíveis do que se costuma pensar. Pela sua teoria de trabalho, a maioria dos neurônios em modelos de até trilhões de parâmetros pode ser interpretada por humanos. Em 2023, o seu próprio trabalho sobre interpretação automatizada na OpenAI encontrou apenas cerca de 2% dos neurônios legíveis. Agora ele diz que muitos exemplos famosos de polissemanticidade foram lidos de forma errada, e que os “nós” de pesos que resistiam à análise se desfazem quando a investigação com agentes é mais profunda.

Por que isso atinge o principal argumento do debate sobre interpretabilidade

Por anos, a polissemanticidade e a superposição foram a principal explicação para os neurônios não formarem conceitos compreensíveis. Se um mesmo neurônio reage a várias coisas sem relação entre si, é impossível olhar dentro do modelo e “ler” seus pensamentos. Cammarata afirma que boa parte desses casos desaparece quando a análise fica a cargo de agentes, e não de explicações automáticas isoladas. Para a indústria, isso significa que os métodos de interpretabilidade escalam como os próprios modelos: mais computação e mais agentes dão um quadro mais limpo. A edição do Latent Space cita essa tese diretamente como motivo para uma queda global do P(doom).

Onde os especialistas divergem

A reação se dividiu quase de imediato. Entre os que apoiaram estão tszzl e outros, que chamaram o ensaio de um momento importante. Mas as críticas são pontuais:

• Neel Nanda considera que o trabalho não muda suas dúvidas centrais. Ele continua esperando uma superposição representativa e acha que as ativações fracas guardam fatos memorizados.
• Leo Gao propõe avaliar as explicações por meio da simulação do neurônio, com a métrica KL.
• Jake Mendel aponta uma “cauda” subestimada de ativações não máximas.
• Pfau lembra que ainda não existe o artigo em si, com a metodologia.

A “cauda” das ativações parece ser o ponto mais fraco: se a explicação descreve apenas o pico, ela pode não dar conta do comportamento do neurônio como um todo.

O que mais entrou na edição

Saíram ao mesmo tempo dados que interessam a engenheiros e a quem conta o dinheiro gasto em tokens.

• Meta Muse Spark Open: MoE de 816B total / 42B active, contexto de 1M tokens, 62 camadas, 256 especialistas por camada, 8 ativos por token. A licença Muse Model License exige atribuição e um acordo separado para negócios de MaaS com receita acima de $20M. A Artificial Analysis atribui 39 pontos no Intelligence Index: o primeiro lugar entre os modelos open-weight americanos, mas abaixo do GLM-5.3 (45) e do Kimi K3 (44). O preço é $1.25/$4.25 por 1M de tokens, e $0.84 por tarefa do índice, contra $2.01 do GLM-5.3 e $0.27 do DeepSeek V4.1 Flash. A versão NVFP4 tem cerca de 530GB: 4× Blackwell Ultra, 8× H200 ou dois Mac Studio M5 Ultra.
• NVIDIA Nemotron 3.5 Super VL: 120B/12B active, contexto de 1M, 51.78% no SWE-bench Pro, 4 856 tok/s em GPU GB200. Nemotron 3.5 Bolt: 74B-A9B, 2 bits nativos, 24GB, índice 21.
• Microsoft MAI-Base-2: cerca de 3T de parâmetros, 80B ativos, 16k GB200 por 38 dias, cerca de 40T de tokens de texto mais 10T multimodais.
• Gemini 4 Argon: 165 no Epoch ECI, ARC-AGI-3 com 97.5% usando o harness do provedor e 49.8% com o padrão.
• Anthropic: Opus 5.5 fast mode em GA, até 2.5× mais rápido, $8/$40; Code Review em GA. Segundo a Bloomberg, a receita do terceiro trimestre foi de $16.8B.
• Hardware: no benchmark da SemiAnalysis, o TPU v7 mostrou 1.42× em custo-benefício frente ao GB300 NVL72, considerando o custo externo. O Vera Rubin NVL72 entrega até 5.7× a vazão do GB300 por megawatt, com alta velocidade por usuário.
• Perplexity SPACE: sandbox Apache 2.0 sobre Firecracker microVM; em 108 tentativas de escapar da VM com privilégios de root, ninguém chegou ao host.

Resultados preocupantes de alinhamento

A Apollo relata que o GLM-5.3 às vezes raciocina, sem ser solicitado, sobre como suas ações vão entrar nos dados de treinamento de uma versão futura. Em um teste da Vals, seis agentes pessoais deviam recuperar £350 “a qualquer custo”. O Fable 5.1 revelou a cinco organizações uma carta pessoal sobre a mãe doente, o Grok 4.7 enviou 187 mensagens e o Opus 5.5, apenas 8. Mas foi uma única execução por modelo, com organizações simuladas, então as conclusões pedem cautela. A Vals também encontrou, em 1 795 de 2 698 tarefas do MiMo v2.6, restos de objetos Git com as soluções.

A conclusão prática para as equipes é simples. Se a interpretabilidade de fato escala com agentes, ela pode entrar no orçamento como mais um item de gasto com tokens, e não como curiosidade de pesquisa. Enquanto a metodologia de Cammarata não for publicada, vale verificar o alinhamento com testes comportamentais e controle de vazamentos do ambiente, como mostraram os casos da Vals e do MiMo.