AIRI met en évidence la faille du token cramming : 1568 tokens dans un seul vecteur, mais la compréhension disparaît

Les chercheurs du laboratoire FusionBrain d'AIRI ont présenté à l'ICML 2026 l'article « Progressive Cramming: Reliable Token Compression and What It Reveals ». Ils y démontrent qu'une reconstruction parfaite, mot pour mot, d'un texte à partir d'un embedding compressé ne signifie pas que le modèle de langage conserve sa capacité à raisonner sur ce texte.

D'où vient le token cramming

En février 2025, Iouri Kouratov, chercheur chez AIRI, et son équipe ont publié l'article « Cramming 1568 Tokens into a Single Vector and Back Again ». Ils y montraient un résultat jugé quasi impossible : il est possible de « tasser » jusqu'à 1568 tokens, soit plusieurs paragraphes de texte, dans un unique embedding d'entrée d'un LLM gelé, puis de les restituer mot pour mot. Un vecteur de quelques milliers de valeurs remplaçait ainsi des milliers de tokens, ce qui ouvrait des perspectives spectaculaires pour la compression du contexte.

Paramètres clés de la méthode d'origine :

• 1568 tokens tiennent dans un seul vecteur d'entrée
• Le modèle restitue le texte sans aucune perte de tokens
• Le LLM gelé n'est pas réentraîné : seul l'embedding d'entrée est modifié
• La méthode a été baptisée token cramming (« tassement de tokens »)

Pourquoi reconstruire n'est pas comprendre

En reproduisant ce résultat, l'équipe FusionBrain d'AIRI a découvert un problème caché. Le protocole standard du token cramming ne vérifie que la fidélité de la reconstruction du texte, pas la manière dont le modèle comprend et exploite son contenu.

Les auteurs de la nouvelle étude proposent un protocole alternatif, le progressive cramming : la compression démarre avec un petit nombre de tokens, puis augmente graduellement. À chaque étape, on contrôle non seulement la précision de la reconstruction, mais aussi la capacité du modèle à accomplir des tâches de compréhension : paires question-réponse, chaînes logiques.

« Le protocole standard du token cramming masque des échecs catastrophiques.

Reconstruire un texte est une chose, le comprendre en est une tout autre », déclare Dmitri Tarassov, chercheur chez FusionBrain AIRI, dans une publication du laboratoire sur Habr.

Les résultats sont déconcertants : à fort taux de compression, le modèle parvient à reproduire le texte à l'identique, mais perd totalement la capacité de raisonner sur son contenu. La précision sur les tâches de compréhension tombe au niveau du hasard.

Où se situe l'origine de la défaillance

AIRI a établi que l'échec ne se produit pas dans les couches profondes du transformeur, mais dans les premières couches du réseau, celles qui assurent le traitement initial des tokens et la formation des traits sémantiques.

Avec le token cramming, l'optimiseur apprend à contourner ces premières couches : il produit un vecteur qui permet aux couches suivantes de « deviner » les tokens voulus sans en saisir le sens. Le modèle apprend en fait à compresser en court-circuitant la sémantique. Selon les auteurs de l'étude, l'analyse des trajectoires d'optimisation montre que l'embedding de 1568 tokens se situe dans une région de l'espace radicalement différente de celle des vecteurs d'entrée normaux, ce qui explique l'incapacité du modèle à « réfléchir » avec ces données.

Ce que cela implique

Dans sa forme actuelle, le token cramming est un tour de force de reconstruction, mais pas une méthode de compression du contexte utilisable pour des tâches qui exigent de la compréhension. Le travail de FusionBrain AIRI modifie le standard d'évaluation des méthodes de compression : il ne suffit plus de vérifier la fidélité de la restitution, il faut aussi vérifier que le modèle conserve sa capacité à raisonner.

Questions fréquentes

Qu'est-ce que le token cramming ?

Le token cramming est une méthode qui consiste à « tasser » des centaines ou des milliers de tokens de texte dans un seul vecteur d'entrée d'un modèle de langage gelé. L'article original de Iouri Kouratov (AIRI, février 2025) a montré qu'il était possible de restituer 1568 tokens à partir d'un seul vecteur, sans réentraîner le modèle.

En quoi le progressive cramming diffère-t-il du protocole standard ?

Le progressive cramming est un protocole d'évaluation proposé par AIRI à l'ICML 2026. Le taux de compression y augmente graduellement et, à chaque étape, on vérifie non seulement la précision de la reconstruction, mais aussi la capacité du modèle à résoudre des tâches de compréhension. C'est ce protocole qui a révélé qu'une reconstruction parfaite ne garantit pas la préservation du raisonnement.