HyenaND : un opérateur sous-quadratique pour remplacer l'attention sur les données multidimensionnelles

Des chercheurs ont présenté HyenaND, un opérateur sous-quadratique pour réseaux de neurones qui remplace le mécanisme d'attention sur les données multidimensionnelles. Il traite images, volumes et équations aux dérivées partielles (PDE) dans leur géométrie native, sans les déplier en séquence unidimensionnelle. Le preprint est paru sur arXiv en juillet 2026 ; sa promesse centrale est une complexité en O(L log L), contre la complexité quadratique O(L²) de l'attention.

Où l'attention pèche

Le mécanisme d'attention passe à l'échelle de façon quadratique : pour une entrée de longueur L, son coût croît en O(L²), ce qui rend les contextes longs coûteux. Selon les auteurs, toutes les alternatives sous-quadratiques existantes imposent des compromis sur les données multidimensionnelles.

Les convolutions classiques n'offrent ni champ réceptif global ni dépendance à l'entrée. Les modèles récurrents, eux, obligent à aplatir une image ou un volume 3D selon un ordre de parcours unidimensionnel artificiel, et cet ordre détruit la structure spatiale d'origine des données.

Comment fonctionne HyenaND

HyenaND est un opérateur global et dépendant de l'entrée (input-dependent) qui agit directement sur la géométrie native des données multidimensionnelles, via des convolutions à noyaux multidimensionnels paramétrés de manière implicite. À la différence d'une convolution classique, le noyau est ici global et s'adapte à chaque entrée.

La vitesse en pratique repose sur une implémentation CUDA, nSubQ, qui fusionne le chemin de convolution par transformée de Fourier rapide (FFT) en un seul noyau, et transforme ainsi la complexité théorique O(L log L) en gain de temps réel.

• HyenaND : opérateur sous-quadratique, global et input-dependent
• Traite images, volumes 3D et PDE sans les aplatir en 1D
• Le noyau CUDA nSubQ fusionne le chemin de convolution FFT en une seule opération
• Complexité O(L log L) contre O(L²) pour l'attention
• Testé sur 4 domaines : génomique, vision, imagerie médicale, PDE

Ce que montrent les expériences

Les piles HyenaND pures ont égalé en précision de solides références à base d'attention sur quatre types de tâches : génomique à contexte long, vision par ordinateur, imagerie médicale et modélisation d'équations aux dérivées partielles. Renoncer à l'attention quadratique n'a donc pas coûté en qualité.

Les configurations hybrides se sont révélées encore plus performantes : en alternant couches HyenaND et couches d'attention, on dépasse à la fois l'attention pure et les hybrides à base de modèles récurrents.

«

Les configurations hybrides alternant couches HyenaND et couches d'attention surpassent à la fois l'attention pure et de solides hybrides à base de récurrence », indique le résumé du preprint sur arXiv.

Ce que cela implique

La course au remplacement de l'attention quitte le texte unidimensionnel pour gagner les données multidimensionnelles. HyenaND montre qu'il est possible de conserver la précision des transformeurs tout en supprimant le coût quadratique là où les données sont par nature en deux ou trois dimensions : médecine, biologie et simulation physique.

Questions fréquentes

Qu'est-ce que HyenaND ?

HyenaND est un opérateur sous-quadratique pour réseaux de neurones, une alternative à l'attention. Il traite les données multidimensionnelles (images, volumes, PDE) dans leur géométrie native, au moyen de convolutions globales dépendantes de l'entrée, et passe à l'échelle en O(L log L).

En quoi HyenaND diffère-t-il de l'attention ?

L'attention passe à l'échelle de façon quadratique, en O(L²) selon la longueur de l'entrée. HyenaND offre le même champ réceptif global et la même dépendance à l'entrée, mais avec une complexité en O(L log L), et n'oblige pas à aplatir les données multidimensionnelles en séquence unidimensionnelle.

Où HyenaND s'applique-t-il ?

Selon le preprint, HyenaND a été testé sur la génomique à contexte long, la vision par ordinateur, l'imagerie médicale et la modélisation d'équations aux dérivées partielles.