TTR-Compressor compresse les séquences par régression et réduit de 55,6% le nombre de tokens visuels

Des chercheurs ont présenté TTR-Compressor, un module de compression de séquences qui remplace le pooling et les projections apprenables par une régression résolue directement lors de la passe avant. Dans les modèles de langage multimodaux, il surpasse de façon constante le MLP-merger standard et égale sa qualité avec 55,6% de tokens visuels en moins. Dans l'attention parcimonieuse par blocs, il améliore fortement le résultat sur le benchmark RULER par rapport aux compresseurs bâtis sur le mécanisme d'attention lui-même.

Le goulot d'étranglement au cœur des modèles efficaces

La compression de séquences est omniprésente dans les architectures modernes, même si on en parle peu. Les encodeurs visuels produisent des centaines de tokens par image, qu'il faut fusionner en un nombre plus réduit avant de les transmettre au modèle de langage. Dans l'attention parcimonieuse, le contexte long est découpé en blocs, et chaque bloc doit être décrit par une représentation compacte, à partir de laquelle le modèle décide où porter son attention. Partout, le même procédé s'applique : moyenne, max-pooling ou petite projection apprenable de type MLP.

Le problème, c'est que ces opérations perdent de l'information là où elle est la plus utile. La moyenne dilue les tokens rares mais importants. Une projection fixe ne sait pas s'adapter au contenu d'une séquence donnée. Les auteurs qualifient explicitement la compression de barrière informationnelle critique, et jugent les approches répandues insuffisamment efficaces.

Une régression résolue à la volée

L'idée de TTR-Compressor est d'aborder la compression comme un problème de régression au moment du test. Les tokens d'entrée définissent eux-mêmes la tâche de régression, et les coefficients ajustés constituent la représentation compressée du bloc. L'information sur la séquence passe dans la sortie par un ajustement aux tokens eux-mêmes, et non par une application linéaire fixe.

Le principal détail d'ingénierie concerne le coût de calcul. La formulation du problème de régression s'apprend de bout en bout, par simple rétropropagation de l'erreur. Les coefficients, eux, sont calculés sous forme fermée lors de la passe avant, sans itérations d'optimisation internes. Ce schéma apporte une réelle adaptativité à l'entrée tout en préservant la vitesse qui justifie l'existence d'un compresseur. La différentiabilité de la solution fermée permet d'entraîner l'ensemble conjointement avec le reste du modèle.

Principaux résultats de l'étude :

• attention parcimonieuse par blocs : TTR-Compressor améliore nettement les scores RULER par rapport aux compresseurs fondés sur l'attention ;
• fusion de tokens visuels dans les LLM multimodaux : la méthode surpasse de façon constante le MLP-merger standard ;
• efficacité : la qualité du MLP-merger est atteinte avec 55,6% de tokens visuels en moins ;
• polyvalence : les auteurs présentent la méthode comme un remplaçant général du pooling et des projections, et non comme une solution dédiée à une seule tâche.

Pourquoi le chiffre de 55,6% compte

RULER mesure la capacité d'un modèle à retenir et à retrouver l'information sur un contexte long, un test peu indulgent pour tout schéma de compression. Si le compresseur de blocs perd des détails, l'attention parcimonieuse ne peut pas sélectionner les bons blocs, et la qualité chute. Le large écart avec les compresseurs fondés sur l'attention indique que la représentation par régression conserve davantage de signal utile.

Pour les modèles multimodaux, le gain se calcule directement. Les tokens visuels coûtent cher, à la fois au préremplissage et dans le KV-cache, et le nombre d'images et de trames vidéo par requête ne cesse de croître. Réduire leur nombre de près de moitié à qualité égale signifie moins de mémoire, une latence plus faible et davantage d'images dans un même contexte à budget constant. Le compresseur remplace en outre un seul composant : il n'est pas nécessaire de réécrire le reste de l'architecture.

Où il pourrait servir en premier

Les premières candidates à un test sont les équipes qui entraînent des modèles multimodaux avec un merger visuel et se heurtent au coût de l'inférence. Remplacer le MLP-merger par TTR-Compressor ressemble à une expérience locale : un seul module change, et la métrique de comparaison est claire — qualité à nombre de tokens fixe, ou nombre de tokens à qualité fixe.

Le second groupe réunit les développeurs de modèles à contexte long dotés d'une attention parcimonieuse par blocs. Pour eux, le compresseur de blocs détermine la précision du routage de l'attention, et le résultat sur RULER pointe directement vers un gain.

Il n'y a pour l'instant qu'une limite : l'évaluation porte sur deux classes de tâches. Le comportement de la méthode sur d'autres modalités, en audio ou sur de très grands modèles, devra être établi par des reproductions indépendantes. Mais le principe « les tokens définissent la régression, les coefficients forment la représentation » ressemble à une primitive de base, facile à intégrer dans des architectures efficaces existantes.