STILL de HIT Shenzhen : une attention hybride intra-couche qui choisit les tokens selon leur contenu

La complexité quadratique de l'attention softmax reste la principale limite des modèles à contexte long : son coût croît en O(n²) avec la longueur de la séquence. L'équipe de l'Institut de technologie de Harbin (campus de Shenzhen) propose à NeurIPS 2026 l'architecture STILL, qu'elle présente comme la première attention hybride intra-couche sensible au contenu. Le premier auteur est le doctorant Meng Weikang, qui travaille sur les architectures efficaces ainsi que sur l'attention linéaire et hybride. L'auteur correspondant est le professeur Zhang Zheng. L'étude a été rapportée par Jiqizhixin.

Nous ne disposons que de l'extrait introductif du texte. Il ne contient aucune métrique de qualité ni de vitesse : nous analysons donc l'idée, pas les résultats.

Pourquoi on parle d'hybrides « pseudo-hybrides »

L'attention linéaire est économique : son coût croît linéairement avec la longueur du contexte. En revanche, elle compresse l'historique dans un état de taille fixe et récupère moins bien les détails précis. L'industrie combine donc les deux mécanismes. Le schéma le plus répandu est inter-couches : la majorité des couches sont linéaires, et une couche d'attention softmax complète intervient toutes les quelques couches. Jamba, MiniMax-01 et Qwen3-Next reposent par exemple sur ce principe.

Les hybrides intra-couche se partagent le travail au sein d'une même couche. Variante typique : une attention exacte dans une fenêtre locale autour du token courant, le reste étant traité par un mécanisme linéaire. D'après le titre, les auteurs de STILL jugent ce schéma « pseudo-hybride » car purement positionnel : la décision de traiter un token avec précision se prend selon la distance, et non selon ce que le token contient. Un chiffre ou un nom important situé au début d'un long document atterrit alors dans la branche « bon marché », au même titre que du bruit.

Ce que propose STILL

L'affirmation centrale : la répartition entre attention exacte et attention linéaire au sein de la couche est déterminée par le contenu. L'extrait disponible ne détaille pas le fonctionnement du mécanisme de sélection. Il peut s'agir d'un routeur entraînable, d'une estimation de l'importance des tokens ou d'un autre schéma. Les détails sont à chercher dans l'article.

Voici ce que l'on sait à ce stade d'après les données publiques :

• Conférence : NeurIPS 2026.
• Nom de l'architecture : STILL.
• Type : hybride intra-couche entre attention softmax et attention linéaire.
• Différence avec les approches précédentes : sélection selon le contenu des tokens, et non selon la position.
• Institution : Institut de technologie de Harbin (Shenzhen).
• Métriques de perplexité, de longueur de contexte et d'accélération : non fournies dans l'extrait disponible.

Ce qu'il faut vérifier à la lecture de l'article

L'approche intra-couche présente un avantage pratique. Elle n'impose pas de modifier la structure de l'empilement des couches et, en théorie, donne à chaque couche accès aux deux modes. Mais la sélection de tokens par le contenu a un coût : un routage dynamique est plus difficile à accélérer proprement sur GPU qu'une fenêtre statique. Ici, les kernels et le débit pèsent autant que la complexité théorique.

Ceux que cela concerne dès maintenant : les équipes qui entraînent ou affinent des modèles pour le contexte long et comparent des schémas hybrides. Dans l'article et le code, il faudra regarder :

• Le comportement de STILL sur les tâches d'extraction précise (needle-in-a-haystack, retrieval), face aux modèles purement linéaires.
• La vitesse réelle sur de longues séquences, et pas seulement l'asymptotique.
• La comparaison avec les hybrides inter-couches à budget égal de paramètres et d'entraînement.
• L'existence d'une implémentation ouverte et la compatibilité avec les frameworks existants.

Pour l'instant, il s'agit d'une candidature à la prochaine étape des architectures de contexte long. Le verdict dépendra de chiffres que l'introduction ne donne pas.