LISA : l'attention parcimonieuse accélère de 50 % les longs raisonnements des LLM, sans réentraînement

Des chercheurs ont présenté LISA (Linear-Indexed Sparse Attention), un module de remplacement du mécanisme d'attention qui, en juillet 2026, a permis d'accélérer l'inférence de 50 % avec un contexte de 16 000 tokens et d'améliorer de 5,6 % la qualité du raisonnement, sans nécessiter d'entraînement du modèle à partir de zéro. Les travaux sont publiés sur arXiv (2607.19358).

Comment fonctionne LISA

LISA s'intègre à un modèle existant comme un remplacement plug-and-play du self-attention standard et combine deux branches parallèles. La première, Linear Attention, de complexité O(n), assure la « mémoire longue » et les dépendances à longue distance. La seconde, le mécanisme Lightning Indexer, sélectionne dans l'ensemble du contexte les top-M tokens les plus importants et les transmet à une Sparse Self-Attention. Les deux branches sont fusionnées par un mécanisme de gating.

• Nom : LISA (Linear-Indexed Sparse Attention), preprint arXiv 2607.19358
• La complexité de l'inférence passe de O(n²) à O(nM), où M est très inférieur à n
• Deux composants : Linear Attention (mémoire en O(n)) + Lightning Indexer + Sparse Self-Attention
• Ne nécessite pas de pré-entraînement à partir de zéro : le module s'intègre à un modèle déjà entraîné
• Tests réalisés sur des modèles DeepSeek-distilled-Qwen

Pourquoi c'est important pour l'inférence

Le self-attention standard présente une complexité quadratique O(n²) : le coût de l'inférence explose donc sur les longues séquences. Ce goulet d'étranglement touche les modèles à longues chaînes de raisonnement (long chain-of-thought) comme DeepSeek-R1. Le paradigme du test-time scaling les pousse à générer des contextes de raisonnement toujours plus longs, et les coûts augmentent avec eux. Selon les auteurs, c'est précisément ce qui limite le déploiement en production des modèles long-CoT.

LISA s'attaque au problème par l'architecture, et non par du matériel plus puissant. En remplaçant une partie de l'attention complète par de l'attention parcimonieuse et linéaire, la méthode fait passer la génération de n tokens d'un régime O(n²) à un régime O(nM), M (le nombre de tokens sélectionnés) restant nettement inférieur à la longueur du contexte n.

Ce que montrent les tests

Sur les modèles de la famille DeepSeek-distilled-Qwen, LISA a accéléré l'inférence de 50 % avec un contexte de 16K tokens et relevé de 5,6 % le résultat moyen sur les benchmarks de raisonnement, dont AIME et MATH-500. Autrement dit, la méthode ne se contente pas d'accélérer : elle n'entraîne pas non plus de perte de qualité.

L'entraînement se déroule en deux étapes. Dans la première, une attention linéaire est intégrée au modèle pour les dépendances à longue distance, complétée par un mécanisme de fenêtre glissante (sliding-window) ; elle est optimisée par distillation de connaissances afin d'approcher la distribution du self-attention complet du modèle enseignant « gelé ». Dans la seconde, l'Indexer remplace la fenêtre glissante statique. Il est entraîné avec une nouvelle fonction de perte, une divergence KL par tête (per-head KL), qui aligne sa sélection de tokens sur les schémas d'attention de l'enseignant.

« LISA offre une accélération de l'inférence de 50 % avec un contexte

de 16K tokens, tout en améliorant de 5,6 % le résultat moyen sur les benchmarks de raisonnement, dont AIME et MATH-500 », indique le résumé de l'étude sur arXiv.

Ce que cela signifie

Les longs raisonnements coûtent cher précisément à cause de l'attention quadratique. LISA montre une voie pour les rendre moins coûteux sans réentraîner le modèle à partir de zéro : il suffit d'intégrer le module dans un réseau existant. Pour les équipes qui déploient des modèles de raisonnement en production, c'est un moyen direct de réduire les coûts d'inférence sans sacrifier la précision.

Questions fréquentes

Qu'est-ce que LISA ?

LISA (Linear-Indexed Sparse Attention) est un module de remplacement du mécanisme d'attention pour les modèles de langage. Il combine attention linéaire et attention parcimonieuse avec sélection des tokens importants, ce qui ramène la complexité de l'inférence de O(n²) à O(nM).

Faut-il réentraîner le modèle pour utiliser LISA ?

Non, aucun entraînement à partir de zéro n'est nécessaire. LISA est un remplacement plug-and-play du self-attention : il s'intègre à un modèle existant et se configure en deux étapes par distillation de connaissances à partir d'un modèle enseignant.

De combien LISA accélère-t-elle l'inférence ?

Selon le résumé de l'étude, sur les modèles DeepSeek-distilled-Qwen, la méthode accélère l'inférence de 50 % avec un contexte de 16K tokens, tout en améliorant de 5,6 % la qualité moyenne du raisonnement sur les benchmarks AIME et MATH-500.