HyenaND: субквадратичный оператор вместо attention для многомерных данных

Исследователи представили HyenaND — субквадратичный оператор для нейросетей, который заменяет механизм attention при работе с многомерными данными и обрабатывает изображения, объёмы и уравнения в частных производных (PDE) в их родной геометрии, без разворачивания в одномерную последовательность. Препринт вышел на arXiv в июле 2026 года, ключевое обещание — сложность O(L log L) вместо квадратичной O(L²) у attention.

В чём слабость attention

Механизм attention масштабируется квадратично: при длине входа L его стоимость растёт как O(L²), поэтому длинный контекст обходится дорого. По формулировке авторов, все существующие субквадратичные альтернативы вынуждены идти на компромиссы на многомерных данных.

Обычные свёртки лишены глобального рецептивного поля и зависимости от входа, а рекуррентные модели требуют разворачивать изображение или трёхмерный объём в искусственный одномерный порядок обхода — и этот порядок разрушает исходную пространственную структуру данных.

Как устроен HyenaND

HyenaND — это глобальный, зависящий от входа (input-dependent) оператор, который действует прямо на нативной геометрии многомерных данных через свёртки с неявно параметризованными многомерными ядрами. В отличие от обычной свёртки, ядро здесь глобальное и подстраивается под конкретный вход.

Практическую скорость обеспечивает CUDA-реализация nSubQ: она сливает путь свёртки через быстрое преобразование Фурье (FFT) в единое ядро, превращая теоретическую сложность O(L log L) в реальное ускорение по времени.

• HyenaND — субквадратичный, глобальный, input-dependent оператор
• Работает с изображениями, 3D-объёмами и PDE без разворачивания в 1D
• CUDA-ядро nSubQ сливает FFT-путь свёртки в одну операцию
• Сложность O(L log L) против O(L²) у attention
• Проверен на 4 доменах: геномика, зрение, медицинская визуализация, PDE

Что показали эксперименты

Чистые стеки HyenaND сравнялись по точности с сильными attention-бейзлайнами сразу на четырёх типах задач: геномике длинного контекста, компьютерном зрении, медицинской визуализации и моделировании уравнений в частных производных. То есть отказ от квадратичного attention не стоил качества.

Гибридные конфигурации оказались ещё сильнее: чередование слоёв HyenaND и attention обошло и чистый attention, и гибриды на основе рекуррентных моделей.

«Гибридные конфигурации, чередующие слои

HyenaND и attention, превосходят и чистый attention, и сильные гибриды на основе рекуррентности», — говорится в аннотации препринта на arXiv.

Что это значит

Гонка за заменой attention смещается от одномерного текста к многомерным данным. HyenaND показывает, что можно сохранить точность трансформеров и убрать квадратичную стоимость там, где данные изначально двух- и трёхмерные — в медицине, биологии и физическом моделировании.

Частые вопросы

Что такое HyenaND?

HyenaND — субквадратичный оператор для нейросетей, альтернатива attention. Он обрабатывает многомерные данные (изображения, объёмы, PDE) в их родной геометрии через глобальные зависящие от входа свёртки и масштабируется как O(L log L).

Чем HyenaND отличается от attention?

Attention масштабируется квадратично — O(L²) от длины входа. HyenaND даёт то же глобальное рецептивное поле и зависимость от входа, но со сложностью O(L log L), и не требует разворачивать многомерные данные в одномерную последовательность.

Где применяется HyenaND?

По данным препринта, HyenaND протестирован на геномике длинного контекста, компьютерном зрении, медицинской визуализации и моделировании уравнений в частных производных.