Por qué los Transformers puros no pueden aprender la generalización estructural: la demostración

En julio de 2026, un grupo de investigadores publicó en arXiv un trabajo que demuestra matemáticamente que un Transformer puro no puede aprender de forma autónoma la generalización estructural a partir de datos finitos. La causa es la brecha entre la complejidad computacional de la propia tarea (clase NC¹) y el techo de aprendizaje demostrado de los Transformers (clase TC⁰).

Qué se ha demostrado exactamente

Los autores ofrecen por primera vez una definición formal de la generalización estructural: la capacidad de un modelo para construir significado a partir de partes conocidas en combinaciones desconocidas. Hasta ahora, el concepto se medía con una decena de benchmarks, pero nunca se había definido con rigor. La definición traduce al lenguaje matemático dos premisas intuitivas: la estructura composicional y la generalización ilimitada.

El paso clave consiste en mostrar que la tarea exige una potencia computacional de clase NC¹, mientras que un Transformer puro, según la demostración de Kraus et al. (2026), está limitado a la clase TC⁰. Bajo la suposición estándar en teoría de la complejidad TC⁰ ≠ NC¹, la conclusión es estricta: la capacidad necesaria está por encima del techo de la arquitectura.

• NC¹: cota inferior computacional de la tarea de generalización estructural
• TC⁰: techo de aprendizaje demostrado de los Transformers puros (Kraus et al., 2026)
• La evaluación de árboles (BFVP) es NC¹-completa, algo que Buss demostró ya en 1987
• Bajo la suposición estándar TC⁰ ≠ NC¹, la brecha es insalvable
• Los sistemas neurosimbólicos esquivan la parte difícil incorporando la semántica (G_γ) a mano

Dónde choca exactamente el Transformer

Cada regla composicional se descompone en dos proyecciones: la sintáctica (F_γ) y la semántica (G_γ). Así funciona el modelo de significado de Montague (por Richard Montague) en el que se apoyan los autores. Esta separación permite señalar con precisión qué mitad de la tarea es realmente difícil.

La evaluación del árbol semántico (el lado G_γ) es un caso particular del problema BFVP, que según Buss (1987) es NC¹-completo. Un Transformer puro tiene que aprender ambos lados a la vez, pero su clase de aprendizaje no va más allá de TC⁰. La brecha entre TC⁰ y NC¹ es precisamente el muro contra el que se estrella el aprendizaje autónomo, por muchos datos que vea el modelo.

Por qué los benchmarks inducen a error

Los sistemas neurosimbólicos logran las mejores puntuaciones en los benchmarks de generalización estructural precisamente porque su proyección semántica (G_γ) se incorpora a mano, no se aprende. Así esquivan la mitad realmente difícil de la tarea y obtienen un buen resultado sorteando el núcleo NC¹-completo.

De ahí la conclusión principal del trabajo: la puntuación en un benchmark no distingue lo aprendido de lo establecido de antemano. Comprobar si un modelo «sabe generalizar» deja de ser válido si parte del mecanismo simplemente se le ha escrito a mano.

«Las puntuaciones en los benchmarks no permiten distinguir lo "aprendido" de lo "dado"», del resumen del trabajo en arXiv.

Qué significa esto

El trabajo traza un límite firme: sin componentes simbólicos o arquitecturas más potentes que TC⁰, los Transformers puros no aprenderán una verdadera generalización composicional, por muchos datos que se les den. Para los profesionales, es un argumento a favor de los enfoques híbridos y neurosimbólicos; para los investigadores, un motivo para interpretar con más cautela las puntuaciones altas en los benchmarks.

Preguntas frecuentes

¿Qué es la generalización estructural?

Es la capacidad de un modelo para procesar correctamente nuevas combinaciones de elementos conocidos; por ejemplo, entender una frase formada por palabras conocidas con una estructura que no apareció en el entrenamiento. Los autores del trabajo le dan por primera vez una definición matemática formal.

¿Significa esto que los Transformers son inútiles?

No. La demostración se refiere al Transformer «puro» y a una capacidad concreta: el aprendizaje autónomo de la generalización estructural a partir de datos finitos. En la práctica, los modelos se complementan con componentes simbólicos que cubren la parte difícil de la tarea.

¿Por qué los sistemas neurosimbólicos superan a los Transformers en estos benchmarks?

Porque su proyección semántica (G_γ) se define a mano, no se aprende. Se saltan la parte NC¹-completa de la tarea, de modo que una puntuación alta no demuestra que la capacidad se haya aprendido realmente.