Pourquoi les Transformers purs ne peuvent pas apprendre la généralisation structurelle : la démonstration

En juillet 2026, des chercheurs ont publié sur arXiv un travail qui démontre mathématiquement qu'un Transformer pur ne peut pas apprendre de manière autonome la généralisation structurelle à partir de données finies. En cause : l'écart entre la complexité computationnelle de la tâche elle-même (classe NC¹) et le plafond d'apprentissage démontré des Transformers (classe TC⁰).

Qu'a-t-on démontré au juste

Les auteurs proposent pour la première fois une définition formelle de la généralisation structurelle, c'est-à-dire la capacité d'un modèle à construire du sens à partir de parties connues assemblées dans des combinaisons inédites. Jusqu'ici, la notion était mesurée par une dizaine de benchmarks, sans jamais avoir été définie rigoureusement. La définition traduit en langage mathématique deux prémisses intuitives : la structure compositionnelle et la généralisation non bornée.

Le pas décisif consiste à montrer que la tâche exige une puissance de calcul de classe NC¹, alors qu'un Transformer pur est limité à la classe TC⁰, comme l'ont démontré Kraus et al. (2026). Sous l'hypothèse TC⁰ ≠ NC¹, standard en théorie de la complexité, la conclusion est stricte : la capacité requise se situe au-dessus du plafond de l'architecture.

• NC¹ — borne inférieure computationnelle de la tâche de généralisation structurelle
• TC⁰ — plafond d'apprentissage démontré des Transformers purs (Kraus et al., 2026)
• L'évaluation d'arbres (BFVP) est NC¹-complète — démontré par Buss dès 1987
• Sous l'hypothèse standard TC⁰ ≠ NC¹, l'écart est infranchissable
• Les systèmes neurosymboliques contournent la partie difficile en intégrant la sémantique (G_γ) à la main

Où le Transformer bute précisément

Chaque règle compositionnelle se décompose en deux projections : syntaxique (F_γ) et sémantique (G_γ). C'est le fonctionnement du modèle de la signification de Montague (d'après Richard Montague), sur lequel s'appuient les auteurs. Cette séparation permet d'identifier précisément quelle moitié de la tâche est réellement difficile.

L'évaluation de l'arbre sémantique (côté G_γ) est un cas particulier du problème BFVP, lequel est NC¹-complet selon Buss (1987). Un Transformer pur doit apprendre les deux côtés à la fois, mais sa classe d'apprentissage ne dépasse pas TC⁰. L'écart entre TC⁰ et NC¹ constitue le mur contre lequel se brise l'apprentissage autonome, quelle que soit la quantité de données vue par le modèle.

Pourquoi les benchmarks induisent en erreur

Les systèmes neurosymboliques obtiennent les meilleurs scores sur les benchmarks de généralisation structurelle précisément parce que leur projection sémantique (G_γ) est intégrée à la main, et non apprise. Ils contournent la moitié réellement difficile de la tâche et décrochent un score élevé en esquivant le noyau NC¹-complet.

D'où la conclusion principale du travail : un score de benchmark ne distingue pas ce qui a été appris de ce qui a été fourni d'avance. Vérifier si un modèle « sait généraliser » n'a plus de sens si une partie du mécanisme y a simplement été inscrite à la main.

« Les scores sur les benchmarks ne permettent pas de distinguer l'"appris" du "donné" » — extrait du résumé de l'article sur arXiv.

Ce que cela signifie

Le travail trace une frontière nette : sans composants symboliques ou architectures plus puissantes que TC⁰, les Transformers purs n'apprendront pas une véritable généralisation compositionnelle, quelle que soit la quantité de données fournie. Pour les praticiens, c'est un argument en faveur des approches hybrides et neurosymboliques ; pour les chercheurs, une raison de lire avec plus de prudence les scores élevés sur les benchmarks.

Questions fréquentes

Qu'est-ce que la généralisation structurelle ?

C'est la capacité d'un modèle à traiter correctement de nouvelles combinaisons d'éléments connus, par exemple comprendre une phrase composée de mots familiers dans une structure absente de l'entraînement. Les auteurs en donnent pour la première fois une définition mathématique formelle.

Cela signifie-t-il que les Transformers sont inutiles ?

Non. La démonstration porte sur le Transformer « pur » et sur une capacité précise : l'apprentissage autonome de la généralisation structurelle à partir de données finies. En pratique, les modèles sont complétés par des composants symboliques qui prennent en charge la partie difficile de la tâche.

Pourquoi les systèmes neurosymboliques devancent-ils les Transformers sur ces benchmarks ?

Parce que leur projection sémantique (G_γ) est définie à la main, et non apprise. Ils sautent la partie NC¹-complète de la tâche : un score élevé ne prouve donc pas que la capacité a bien été apprise.