Redes neurais são mais modulares do que parecem nos neurônios: três níveis de verificação

Costuma-se dizer que redes neurais resistem a ser desmontadas em partes: um mesmo neurônio participa de várias funções diferentes, e a conclusão parece óbvia. Não haveria organização modular nessas redes. Os autores do preprint arXiv:2610.12842 discordam. Eles introduzem uma hierarquia aninhada de três níveis de modularidade e mostram, em modelos de visão, modelos de linguagem e redes recorrentes multitarefa, que redes sem módulos no nível dos neurônios costumam ter módulos funcionais claros no nível dos subespaços.

Três níveis em vez de uma única pergunta

A principal ideia do trabalho é que a pergunta "a rede é modular?" é formulada de maneira grosseira demais. Se o critério exigir que computações diferentes ocupem neurônios que não se sobrepõem, a maioria das redes falha no teste. Só que esse é o critério mais rígido possível. Os autores montam três critérios, cada um mais brando que o anterior:

• Unit-level. Computações diferentes ocupam conjuntos de neurônios que não se sobrepõem. É a compreensão clássica de módulo.
• Orthogonal. Existe uma rotação do espaço de ativações após a qual aparecem subespaços funcionalmente independentes.
• Linear. Um mapeamento linear restrito separa as computações relevantes para a tarefa em subespaços independentes.
• Verificação. Para cada nível, foi desenvolvido um método de aprendizado da decomposição. O resultado é avaliado de forma causal, por meio de ablação seletiva: remove-se o subespaço e observa-se qual função foi prejudicada.

Os níveis estão aninhados. A modularidade no nível dos neurônios implica a ortogonal, e esta implica a linear. O inverso não vale, e é justamente nessa lacuna que os autores encontram o efeito.

O que foi encontrado na prática

Em modelos de visão, os subespaços de conteúdo e de estilo se separam na ablação, embora usem populações de neurônios que se sobrepõem. Em modelos de linguagem, o mesmo ocorre com sintaxe e semântica: remover um subespaço não quebra o outro.

O trabalho também traz uma comparação com a neurociência. Os subespaços aprendidos coincidem de maneiras diferentes com os dados do cérebro. Os subespaços de conteúdo preveem melhor a atividade das áreas superiores do córtex visual, enquanto os de estilo preveem melhor a das áreas inferiores. Os subespaços semânticos preveem a atividade do córtex da linguagem com mais precisão que os sintáticos. É um argumento indireto de que a separação encontrada reflete a estrutura da própria tarefa, e não um artefato do método.

O terceiro caso são RNNs treinadas em várias tarefas cognitivas ao mesmo tempo. Antes, elas eram consideradas não modulares. A decomposição proposta revelou dissociações duplas nítidas entre as tarefas: remover um subespaço quebra uma tarefa e não afeta a outra, enquanto remover o outro subespaço faz o contrário. Na neurociência, a dissociação dupla é considerada uma evidência forte de separação de funções.

O que isso muda para a interpretabilidade

A conclusão prática para quem trabalha com interpretabilidade mecanicista é que não é preciso procurar um neurônio responsável por uma propriedade específica. A intervenção pode ser feita no nível do subespaço. Se a decomposição for encontrada, a computação pode ser desligada ou alterada de forma pontual, mesmo quando nenhum neurônio isolado é especializado. Para a segurança e o controle do comportamento dos modelos, esse é um ponto de atuação mais realista do que a busca por "neurônios de conceitos".

É preciso considerar as limitações. Trata-se de um preprint sem revisão por pares, e o resumo não traz nem os nomes dos modelos testados nem resultados quantitativos, de modo que não é possível avaliar a magnitude do efeito. Também fica em aberto o quanto os subespaços encontrados se mantêm estáveis em LLMs modernas de grande porte e o quanto dependem das funções que os pesquisadores definiram previamente. O método exige a rotulagem das computações, por exemplo conteúdo versus estilo, e não descobre módulos por conta própria.

Para quem trabalha na prática, a conclusão é esta: ao analisar um modelo, vale verificar os três níveis, em vez de parar na ausência de modularidade neuronal. Os detalhes de implementação estão no texto completo, que deve ser consultado no próprio preprint.