Почему чистые Transformer не способны выучить структурную генерализацию: доказательство

Los investigadores publicaron en julio de 2026 un artículo en arXiv que demuestra matemáticamente: un Transformer puro es incapaz de aprender de forma autónoma la generalización estructural a partir de datos finitos. La razón es una brecha entre la complejidad computacional de la propia tarea (clase NC¹) y el techo de aprendibilidad demostrado de los transformers (clase TC⁰).

Qué se demostró exactamente

Los autores dieron, por primera vez, una definición formal de la generalización estructural: la capacidad de un modelo para ensamblar significado a partir de partes conocidas en combinaciones desconocidas. Antes de este trabajo, el concepto se medía con una decena de benchmarks, pero nunca se había definido con rigor. La definición traduce dos premisas intuitivas —estructura composicional y generalización ilimitada— al lenguaje de las matemáticas.

El movimiento clave es mostrar que la tarea requiere la potencia computacional de la clase NC¹, mientras que un Transformer puro, según la demostración de Krause et al. (2026), está limitado a la clase TC⁰. Bajo el supuesto estándar en teoría de la complejidad de que TC⁰≠NC¹, la conclusión es rigurosa: la capacidad necesaria se sitúa por encima del techo de la arquitectura.

• NC¹ — el límite inferior computacional de la tarea de generalización estructural
• TC⁰ — el techo de aprendibilidad demostrado de los transformers puros (Krause et al., 2026)
• La evaluación de árboles (BFVP) es NC¹-completa — demostrado por Buss ya en 1987
• Bajo el supuesto estándar TC⁰≠NC¹, la brecha es insalvable
• Los sistemas neurosimbólicos evitan la parte difícil incorporando la semántica (G_γ) a mano

Dónde exactamente choca el Transformer

Cada regla composicional se descompone en dos proyecciones: una sintáctica (F_γ) y una semántica (G_γ) —así está construido el modelo montagoviano del significado (según Richard Montague), en el que se apoyan los autores. Esta separación permite señalar con precisión qué mitad de la tarea es realmente difícil.

La evaluación del árbol semántico (el lado G_γ) es un caso particular del problema BFVP, que, según Buss (1987), es NC¹-completo. Un Transformer puro se ve obligado a aprender ambos lados a la vez, pero su clase de aprendibilidad no sobrepasa TC⁰. La brecha entre TC⁰ y NC¹ es precisamente el muro contra el que se estrella el aprendizaje autónomo, por muchos datos que vea el modelo.

Por qué los benchmarks engañan

Los sistemas neurosimbólicos obtienen mejores puntuaciones en los benchmarks de generalización estructural precisamente porque su proyección semántica (G_γ) se incorpora a mano en lugar de aprenderse. Evitan la mitad realmente difícil de la tarea y consiguen un resultado alto sorteando el núcleo NC¹-completo.

De ahí la conclusión principal del trabajo: la puntuación en un benchmark no distingue lo aprendido de lo dado de antemano. La prueba de "si el modelo sabe generalizar" deja de ser válida si parte del mecanismo simplemente se le ha escrito a mano.

"Las puntuaciones en los benchmarks no permiten distinguir lo

'aprendido' de lo 'dado'" — del resumen del artículo en arXiv.

Qué significa esto

El trabajo traza un límite estricto: sin componentes simbólicos o arquitecturas más potentes que TC⁰, los transformers puros no aprenderán una verdadera generalización composicional, por muchos datos que se les dé. Para los profesionales, es un argumento a favor de los enfoques híbridos y neurosimbólicos; para los investigadores, un motivo para leer con más cautela las puntuaciones altas en los benchmarks.

Preguntas frecuentes

¿Qué es la generalización estructural?

Es la capacidad de un modelo para procesar correctamente nuevas combinaciones de elementos conocidos —por ejemplo, entender una frase formada por palabras conocidas en una estructura que no apareció durante el entrenamiento. Los autores del trabajo fueron los primeros en darle una definición matemática formal.

¿Significa esto que los transformers son inútiles?

No. La demostración se refiere a un transformer "puro" y a una capacidad concreta: aprender de forma autónoma la generalización estructural a partir de datos finitos. En la práctica, los modelos se complementan con componentes simbólicos que cubren la parte difícil de la tarea.

¿Por qué los sistemas neurosimbólicos superan a los transformers en

estos benchmarks?

Porque su proyección semántica (G_γ) se define a mano en lugar de aprenderse. Se saltan la parte NC¹-completa de la tarea, por lo que una puntuación alta no demuestra que la capacidad se haya aprendido realmente.