Parallax : une attention linéaire locale améliorée par correction de covariance

Des chercheurs ont présenté Parallax, une variante paramétrée de l'attention linéaire locale (Local Linear Attention, LLA) qui conserve le mécanisme softmax habituel et ajoute une branche entraînable de correction de covariance. MarkTechPost a rapporté le 31 mai 2026 que, selon la publication, la nouvelle méthode remplace le solveur par requête utilisé dans la LLA par un projecteur appris, ce qui double l'intensité arithmétique du calcul et améliore la perplexité de modèles de 0,6 et 1,7 milliard de paramètres.

Ce qui limite l'attention linéaire

Le mécanisme d'attention classique (self-attention) des transformers est l'une des principales sources de coût de calcul à l'entraînement comme à l'inférence des modèles de langage : sa complexité croît de façon quadratique avec la longueur de la séquence d'entrée. L'attention linéaire a été proposée pour contourner cette limite en rapprochant le calcul d'une complexité linéaire, mais généralement au prix d'une certaine perte de qualité par rapport à l'attention softmax complète. La Local Linear Attention (LLA) est l'une des approches dans cette direction : elle résout un problème local d'approximation pour chaque requête, ce qui crée toutefois ses propres goulots d'étranglement dans l'utilisation efficace du matériel.

Principaux faits sur Parallax :

• La méthode repose sur l'attention linéaire locale (LLA).
• Le solveur par requête est remplacé par un projecteur appris (learned projector).
• Le mécanisme d'attention softmax est conservé, et une branche de correction de covariance est ajoutée.
• L'intensité arithmétique est doublée par rapport à l'approche de base.
• L'amélioration de la perplexité a été constatée sur des modèles de 0,6 et 1,7 milliard de paramètres.

Ce que change le projecteur appris

La différence architecturale clé de Parallax tient au remplacement du solveur, qui dans la LLA d'origine était recalculé séparément pour chaque requête, par un unique projecteur appris. Cela réduit la charge de calcul propre à chaque requête et transfère une partie de l'« intelligence » du mécanisme d'attention vers des paramètres appris à l'avance avec le reste du modèle. La branche de correction de covariance ajoutée, à en juger par le nom de la méthode, vise à compenser les imprécisions de l'approximation linéaire et à rapprocher la qualité de celle de l'attention softmax complète, tout en gardant le gain de vitesse propre aux méthodes d'attention linéaire.

Ce qu'ont montré les expériences

Les auteurs relèvent deux résultats pratiques. Premièrement, le doublement de l'intensité arithmétique, une métrique qui indique l'efficacité d'utilisation du matériel pour chaque octet de données transféré : plus l'intensité arithmétique est élevée, moins le calcul est limité par la bande passante mémoire plutôt que par la performance des cœurs de calcul eux-mêmes. Deuxièmement, la méthode a amélioré la perplexité, métrique standard de qualité des modèles de langage qui reflète la capacité d'un modèle à prédire le token suivant, sur des modèles de taille relativement modeste : 0,6 et 1,7 milliard de paramètres.

Pour la communauté de recherche qui travaille sur des architectures de transformers efficaces, ces résultats intéressent avant tout comme preuve que les mécanismes d'attention linéaire peuvent se rapprocher de la qualité de l'attention complète sans renoncer au gain d'efficacité de calcul.

Pourquoi cet axe de recherche compte

La recherche d'alternatives à l'attention quadratique classique est l'un des domaines les plus actifs de la recherche actuelle sur les modèles de langage. Outre l'attention linéaire, d'autres approches architecturales ont été proposées ces dernières années pour réduire le coût du traitement des longues séquences : architectures récurrentes et à espace d'états, diverses variantes d'attention parcimonieuse et schémas hybrides combinant plusieurs mécanismes dans un même modèle. Toutes ces pistes partagent une même motivation : la longueur de contexte que les modèles doivent traiter, des requêtes courtes aux livres entiers, aux dépôts de code et aux dialogues de plusieurs heures, augmente plus vite que le calcul ne devient bon marché.

L'efficacité de chaque mécanisme d'attention détermine donc directement la longueur de contexte que l'on peut se permettre de traiter avec un budget d'infrastructure donné. Dans ce contexte, les tests de Parallax se limitent pour l'instant à des modèles relativement petits, de 0,6 et 1,7 milliard de paramètres, et la question de savoir si les avantages annoncés se maintiennent à l'échelle des LLM industriels actuels reste à étudier.

La valeur pratique de telles améliorations architecturales se manifeste rarement tout de suite : le chemin entre une publication de recherche et son application dans des modèles à l'échelle industrielle prend généralement des mois ou des années et exige une vérification indépendante sur des architectures plus grandes et des jeux de données variés. Reste que l'idée même de conserver le softmax, plutôt que de l'abandonner complètement au profit de la complexité linéaire, distingue Parallax d'alternatives d'attention plus radicales : c'est davantage un affinement évolutif d'une approche existante qu'une tentative d'inventer de zéro une architecture fondamentalement nouvelle.