HyenaND: un operador subcuadrático que sustituye a la atención en datos multidimensionales

Un equipo de investigadores ha presentado HyenaND, un operador subcuadrático para redes neuronales que sustituye el mecanismo de atención al trabajar con datos multidimensionales. Procesa imágenes, volúmenes y ecuaciones en derivadas parciales (PDE) en su geometría nativa, sin desplegarlos en una secuencia unidimensional. El preprint apareció en arXiv en julio de 2026 y su promesa central es una complejidad O(L log L) frente a la O(L²) cuadrática de la atención.

Dónde falla la atención

El mecanismo de atención escala de forma cuadrática: con una longitud de entrada L, su coste crece como O(L²), por lo que un contexto largo resulta caro. Según los autores, todas las alternativas subcuadráticas existentes tienen que asumir compromisos con los datos multidimensionales.

Las convoluciones convencionales carecen de campo receptivo global y de dependencia de la entrada. Los modelos recurrentes, por su parte, obligan a desplegar una imagen o un volumen tridimensional en un orden de recorrido unidimensional artificial, y ese orden destruye la estructura espacial original de los datos.

Cómo funciona HyenaND

HyenaND es un operador global y dependiente de la entrada (input-dependent) que actúa directamente sobre la geometría nativa de los datos multidimensionales mediante convoluciones con núcleos multidimensionales parametrizados de forma implícita. A diferencia de una convolución normal, aquí el núcleo es global y se adapta a cada entrada concreta.

La velocidad práctica la aporta la implementación CUDA nSubQ, que fusiona en un único kernel la ruta de convolución mediante la transformada rápida de Fourier (FFT). Así convierte la complejidad teórica O(L log L) en una aceleración real en tiempo de ejecución.

• HyenaND: operador subcuadrático, global e input-dependent
• Funciona con imágenes, volúmenes 3D y PDE sin desplegarlos en 1D
• El kernel CUDA nSubQ fusiona la ruta FFT de la convolución en una sola operación
• Complejidad O(L log L) frente a O(L²) de la atención
• Probado en 4 dominios: genómica, visión, imagen médica, PDE

Qué muestran los experimentos

Las pilas puras de HyenaND igualaron en precisión a sólidos baselines de atención en cuatro tipos de tareas a la vez: genómica de contexto largo, visión por computador, imagen médica y modelado de ecuaciones en derivadas parciales. Es decir, abandonar la atención cuadrática no costó calidad.

Las configuraciones híbridas resultaron aún mejores: alternar capas de HyenaND y de atención superó tanto a la atención pura como a los híbridos basados en modelos recurrentes.

«Las configuraciones híbridas que alternan capas de

HyenaND y de atención superan tanto a la atención pura como a los sólidos híbridos basados en recurrencia», se afirma en el resumen del preprint en arXiv.

Qué significa

La carrera por reemplazar la atención se desplaza del texto unidimensional a los datos multidimensionales. HyenaND muestra que es posible conservar la precisión de los transformers y eliminar el coste cuadrático allí donde los datos son bidimensionales o tridimensionales de origen: en medicina, biología y modelado físico.

Preguntas frecuentes

¿Qué es HyenaND?

HyenaND es un operador subcuadrático para redes neuronales, una alternativa a la atención. Procesa datos multidimensionales (imágenes, volúmenes, PDE) en su geometría nativa mediante convoluciones globales dependientes de la entrada y escala como O(L log L).

¿En qué se diferencia HyenaND de la atención?

La atención escala de forma cuadrática, O(L²), con la longitud de la entrada. HyenaND ofrece el mismo campo receptivo global y la misma dependencia de la entrada, pero con una complejidad O(L log L), y no requiere desplegar los datos multidimensionales en una secuencia unidimensional.

¿Dónde se aplica HyenaND?

Según el preprint, HyenaND se ha probado en genómica de contexto largo, visión por computador, imagen médica y modelado de ecuaciones en derivadas parciales.