Por que Transformers puros não conseguem aprender generalização estrutural: a prova

Em julho de 2026, pesquisadores publicaram no arXiv um trabalho que prova matematicamente que um Transformer puro não consegue aprender de forma autônoma a generalização estrutural a partir de dados finitos. A causa é a distância entre a complexidade computacional do próprio problema (classe NC¹) e o teto de aprendizado já provado para os transformers (classe TC⁰).

O que exatamente foi provado

Pela primeira vez, os autores formularam uma definição formal de generalização estrutural: a capacidade de um modelo de montar significado a partir de partes conhecidas em combinações inéditas. Até este trabalho, o conceito era medido por uma dezena de benchmarks, mas nunca havia sido definido com rigor. A definição traduz para a linguagem da matemática duas premissas intuitivas: a estrutura composicional e a generalização ilimitada.

O passo central é mostrar que a tarefa exige o poder computacional da classe NC¹, enquanto um Transformer puro, segundo a prova de Kraus et al. (2026), fica limitado à classe TC⁰. Sob a suposição TC⁰ ≠ NC¹, padrão na teoria da complexidade, a conclusão é rigorosa: a capacidade necessária está acima do teto da arquitetura.

• NC¹ é o limite inferior computacional da tarefa de generalização estrutural
• TC⁰ é o teto de aprendizado comprovado dos transformers puros (Kraus et al., 2026)
• A avaliação de árvores (BFVP) é NC¹-completa, o que Buss provou já em 1987
• Sob a suposição padrão TC⁰ ≠ NC¹, a lacuna é intransponível
• Sistemas neurossimbólicos contornam a parte difícil ao embutir a semântica (G_γ) manualmente

Onde exatamente o Transformer esbarra

Todas as regras composicionais se decompõem em duas projeções: a sintática (F_γ) e a semântica (G_γ). É assim que funciona o modelo de significado de Montague (de Richard Montague), no qual os autores se apoiam. A divisão permite apontar com precisão qual metade da tarefa é realmente difícil.

A avaliação da árvore semântica (o lado G_γ) é um caso particular do problema BFVP, que, segundo Buss (1987), é NC¹-completo. Um Transformer puro precisa aprender os dois lados ao mesmo tempo, mas a classe que ele consegue aprender não passa de TC⁰. A distância entre TC⁰ e NC¹ é o muro contra o qual o aprendizado autônomo se espatifa, por mais dados que o modelo veja.

Por que os benchmarks enganam

Os sistemas neurossimbólicos obtêm as melhores notas nos benchmarks de generalização estrutural justamente porque a projeção semântica (G_γ) é embutida neles manualmente, em vez de aprendida. Eles contornam a metade realmente difícil da tarefa e chegam a um resultado alto sem passar pelo núcleo NC¹-completo.

Daí vem a principal conclusão do trabalho: a nota em um benchmark não distingue o que foi aprendido do que foi dado de antemão. Testar se o modelo sabe generalizar deixa de ser um teste válido quando parte do mecanismo foi simplesmente escrita à mão.

"As notas em benchmarks não permitem distinguir o 'aprendido' do

'dado'", diz a análise do resumo do trabalho no arXiv.

O que isso significa

O trabalho traça um limite rígido: sem componentes simbólicos ou arquiteturas mais poderosas que TC⁰, transformers puros não aprenderão a verdadeira generalização composicional, por mais dados que recebam. Para quem trabalha na prática, é um argumento a favor de abordagens híbridas, neurossimbólicas. Para pesquisadores, é um motivo para ler com mais cautela as notas altas em benchmarks.

Perguntas frequentes

O que é generalização estrutural?

É a capacidade de um modelo de processar corretamente novas combinações de elementos conhecidos, por exemplo, entender uma frase formada por palavras conhecidas em uma estrutura que não apareceu no treinamento. Os autores do trabalho deram a ela, pela primeira vez, uma definição matemática formal.

Isso significa que os transformers são inúteis?

Não. A prova trata do transformer "puro" e de uma capacidade específica: o aprendizado autônomo de generalização estrutural a partir de dados finitos. Na prática, os modelos são complementados com componentes simbólicos, que resolvem a parte difícil da tarefa.

Por que os sistemas neurossimbólicos superam os transformers nesses benchmarks?

Porque a projeção semântica (G_γ) é definida neles manualmente, e não aprendida. Eles pulam a parte NC¹-completa da tarefa, então uma nota alta não prova que a capacidade tenha sido de fato aprendida.