Fundador da área de interpretabilidade da OpenAI diz que 90% dos neurônios têm uma única função

Nick Cammarata, fundador da equipe de interpretabilidade da OpenAI, publicou na sexta-feira um ensaio longuíssimo com uma tese que vira de cabeça para baixo a visão habitual: cerca de 90% dos neurônios em grandes modelos desempenham uma única função, e um modelo de 1 trilhão de parâmetros fica "quase legível" com o uso de ferramentas de agentes modernas. O veículo chinês Jiqizhixin classificou o texto como um dos resultados mais importantes da área de IA. Na comunidade profissional, ele já provocou debates acalorados.

O que exatamente Cammarata afirma

Segundo ele, a ideia de que a rede neural é uma "caixa-preta" impenetrável é, em boa parte, um equívoco. A maioria dos obstáculos que os pesquisadores esperavam não aparece na prática. A conclusão: a interpretabilidade será resolvida, e possivelmente de forma rápida.

Vale apontar já de início uma limitação. No trecho disponível, não há descrição da metodologia, dos conjuntos de modelos nem dos critérios usados para considerar que um neurônio "desempenha uma única função". O número de 90% vem do título do material. Não é possível verificá-lo sem o texto completo do ensaio e sem experimentos reproduzíveis.

Por que a tese soa ousada

Nos últimos anos, os pesquisadores partiram da premissa oposta. Neurônios em grandes modelos costumam ser polissemânticos: um mesmo neurônio reage a vários conceitos sem relação entre si. Essa visão está ligada à hipótese da superposição, segundo a qual a rede empacota mais características do que tem neurônios. Para desfazer esse empacotamento, os laboratórios adotaram autoencoders esparsos e métodos afins. É um desvio caro, que só faz sentido se houver poucos neurônios "limpos".

O próprio Cammarata participou do trabalho da OpenAI de 2023, em que o GPT-4 escrevia explicações em texto para os neurônios do GPT-2. Na época, a maioria das explicações recebeu notas baixas, e o método parecia ter batido em um teto. Agora ele afirma que a principal limitação não estava no objeto de estudo em si, mas nas ferramentas.

Pela lógica do ensaio, os agentes mudam a economia do problema. Um único pesquisador não consegue analisar manualmente bilhões de neurônios. Um agente pode, para cada neurônio, formular uma hipótese, montar um experimento, testá-la em exemplos novos e reescrever a descrição. Para um modelo de 1 trilhão de parâmetros, isso transforma um trabalho manual inalcançável em um problema computacional.

Principais pontos

• Autor: Nick Cammarata, fundador da equipe de interpretabilidade da OpenAI.
• Formato: ensaio longuíssimo, publicado na sexta-feira.
• Número central: cerca de 90% dos neurônios desempenham uma única função.
• Escala: modelos de até 1 trilhão de parâmetros.
• Ferramenta: sistemas de agentes modernos no lugar da análise manual.
• Previsão: a interpretabilidade será resolvida, "possivelmente em breve". O trecho disponível não traz prazos concretos.
• Status: posição do autor, não um artigo revisado por pares.

Como engenheiros e equipes de segurança devem ler isso

O ceticismo aqui é uma norma profissional, não desconfiança em relação ao autor. Primeiro, é preciso esclarecer como se define "uma única função": pelo comportamento em exemplos ou por intervenções causais, em que se desliga o neurônio e se observa o que quebra. A segunda verificação é muito mais rigorosa. Depois, importa saber se o resultado se reproduz em modelos abertos, nos quais grupos independentes podem rodar os mesmos pipelines de agentes. E, por fim, 90% dos neurônios não significam 90% do comportamento do modelo. Os 10% restantes podem concentrar as capacidades mais perigosas e mais complexas.

Se a tese resistir à verificação, as consequências serão práticas. A auditoria de modelos para detectar engano, objetivos ocultos e vulnerabilidades deixará de ser um experimento de pesquisa. Passará a ser um procedimento de engenharia, que se pode exigir do fornecedor do modelo. Para equipes que constroem produtos com LLMs, vale acompanhar as replicações abertas e observar se as ferramentas de agentes passarão a incluir pipelines de interpretabilidade prontos. Por enquanto, o ensaio deve ser lido como uma hipótese forte, vinda de alguém que trabalha com o tema há mais tempo que a maioria.