Почему чистые Transformer не способны выучить структурную генерализацию: доказательство

Pesquisadores publicaram em julho de 2026 um artigo no arXiv que prova matematicamente: um Transformer puro é incapaz de aprender de forma autônoma a generalização estrutural a partir de dados finitos. O motivo é uma lacuna entre a complexidade computacional da própria tarefa (classe NC¹) e o teto de aprendibilidade comprovado dos transformers (classe TC⁰).

O que exatamente foi provado

Os autores deram, pela primeira vez, uma definição formal de generalização estrutural — a capacidade de um modelo de combinar significado a partir de partes conhecidas em combinações desconhecidas. Antes deste trabalho, o conceito era medido por uma dezena de benchmarks, mas nunca havia sido definido com rigor. A definição traduz duas premissas intuitivas — estrutura composicional e generalização ilimitada — para a linguagem da matemática.

O passo-chave é mostrar que a tarefa exige o poder computacional da classe NC¹, enquanto um Transformer puro, segundo a prova de Krause et al. (2026), está limitado à classe TC⁰. Sob a suposição padrão da teoria da complexidade de que TC⁰≠NC¹, a conclusão é rigorosa: a capacidade necessária está acima do teto da arquitetura.

• NC¹ — o limite inferior computacional da tarefa de generalização estrutural
• TC⁰ — o teto de aprendibilidade comprovado dos transformers puros (Krause et al., 2026)
• A avaliação de árvores (BFVP) é NC¹-completa — provado por Buss já em 1987
• Sob a suposição padrão TC⁰≠NC¹, a lacuna é intransponível
• Sistemas neurossimbólicos contornam a parte difícil embutindo a semântica (G_γ) manualmente

Onde exatamente o Transformer esbarra

Cada regra composicional se decompõe em duas projeções: uma sintática (F_γ) e uma semântica (G_γ) — é assim que o modelo montagoviano de significado (segundo Richard Montague), no qual os autores se apoiam, está estruturado. Essa separação permite apontar com precisão qual metade da tarefa é realmente difícil.

A avaliação da árvore semântica (o lado G_γ) é um caso particular do problema BFVP, que, segundo Buss (1987), é NC¹-completo. Um Transformer puro é forçado a aprender os dois lados ao mesmo tempo, mas sua classe de aprendibilidade não ultrapassa TC⁰. A lacuna entre TC⁰ e NC¹ é exatamente o muro contra o qual o aprendizado autônomo se choca — não importa quantos dados o modelo veja.

Por que os benchmarks enganam

Os sistemas neurossimbólicos obtêm melhores pontuações nos benchmarks de generalização estrutural justamente porque sua projeção semântica (G_γ) é embutida manualmente, e não aprendida. Eles contornam a metade realmente difícil da tarefa e obtêm um resultado alto contornando o núcleo NC¹-completo.

Daí a principal conclusão do trabalho: a pontuação em um benchmark não distingue o que foi aprendido do que foi dado de antemão. O teste de "o modelo sabe generalizar" deixa de ser válido se parte do mecanismo simplesmente foi inserida manualmente.

"As pontuações em benchmarks não permitem distinguir o 'aprendido' do

'dado'" — do resumo do artigo no arXiv.

O que isso significa

O trabalho traça uma fronteira rígida: sem componentes simbólicos ou arquiteturas mais poderosas que TC⁰, os transformers puros não aprenderão uma verdadeira generalização composicional, não importa quantos dados recebam. Para profissionais, é um argumento a favor de abordagens híbridas e neurossimbólicas; para pesquisadores, um motivo para ler com mais cautela as pontuações altas em benchmarks.

Perguntas frequentes

O que é generalização estrutural?

É a capacidade de um modelo de processar corretamente novas combinações de elementos conhecidos — por exemplo, entender uma frase formada por palavras conhecidas em uma estrutura que não apareceu no treinamento. Os autores do trabalho foram os primeiros a dar a ela uma definição matemática formal.

Isso significa que os transformers são inúteis?

Não. A prova diz respeito a um transformer "puro" e a uma capacidade específica — aprender de forma autônoma a generalização estrutural a partir de dados finitos. Na prática, os modelos são complementados com componentes simbólicos que cobrem a parte difícil da tarefa.

Por que os sistemas neurossimbólicos superam os transformers nesses benchmarks?

Porque sua projeção semântica (G_γ) é definida manualmente, em vez de aprendida. Eles pulam a parte NC¹-completa da tarefa, então uma pontuação alta não prova que a capacidade foi realmente aprendida.