HyenaND: субквадратичный оператор вместо attention для многомерных данных

HyenaND: um operador subquadrático no lugar do attention para dados

multidimensionais

Pesquisadores apresentaram o HyenaND, um operador subquadrático para redes neurais que substitui o mecanismo de attention ao trabalhar com dados multidimensionais e processa imagens, volumes e equações diferenciais parciais (PDE) em sua geometria nativa, sem precisar desdobrá-los em uma sequência unidimensional. O preprint foi publicado no arXiv em julho de 2026, e a promessa principal é a complexidade O(L log L) em vez da complexidade quadrática O(L²) do attention.

Qual é o ponto fraco do attention

O mecanismo de attention escala de forma quadrática: para uma entrada de comprimento L, seu custo cresce como O(L²), o que torna o contexto longo caro. Segundo os autores, todas as alternativas subquadráticas existentes são obrigadas a fazer concessões em dados multidimensionais.

As convoluções comuns não têm campo receptivo global nem dependência da entrada, enquanto os modelos recorrentes exigem desdobrar uma imagem ou um volume tridimensional em uma ordem de percurso unidimensional artificial — e essa ordem destrói a estrutura espacial original dos dados.

Como o HyenaND funciona

O HyenaND é um operador global, dependente da entrada (input-dependent), que atua diretamente sobre a geometria nativa dos dados multidimensionais por meio de convoluções com kernels multidimensionais parametrizados de forma implícita. Diferentemente de uma convolução comum, aqui o kernel é global e se adapta à entrada específica.

A velocidade prática é garantida pela implementação em CUDA chamada nSubQ: ela funde o caminho de convolução via transformada rápida de Fourier (FFT) em um único kernel, transformando a complexidade teórica O(L log L) em ganho de velocidade real de execução.

• HyenaND — um operador subquadrático, global, input-dependent
• Funciona com imagens, volumes 3D e PDEs sem desdobramento em 1D
• O kernel CUDA nSubQ funde o caminho de convolução FFT em uma única operação
• Complexidade O(L log L) contra O(L²) do attention
• Validado em 4 domínios: genômica, visão computacional, imagem médica, PDE

O que os experimentos mostraram

Pilhas puras de HyenaND igualaram a precisão de fortes baselines de attention em quatro tipos de tarefas ao mesmo tempo: genômica de contexto longo, visão computacional, imagem médica e modelagem de equações diferenciais parciais. Ou seja, abrir mão do attention quadrático não custou qualidade.

As configurações híbridas se mostraram ainda mais fortes: alternar camadas de HyenaND e attention superou tanto o attention puro quanto os híbridos fortes baseados em modelos recorrentes.

"As configurações híbridas, que alternam camadas de

HyenaND e attention, superam tanto o attention puro quanto os fortes híbridos baseados em recorrência", afirma o resumo do preprint no arXiv.

O que isso significa

A corrida para substituir o attention está se deslocando do texto unidimensional para os dados multidimensionais. O HyenaND mostra que é possível preservar a precisão dos transformers e eliminar o custo quadrático onde os dados são naturalmente bi ou tridimensionais — em medicina, biologia e modelagem física.

Perguntas frequentes

O que é o HyenaND?

O HyenaND é um operador subquadrático para redes neurais, uma alternativa ao attention. Ele processa dados multidimensionais (imagens, volumes, PDEs) em sua geometria nativa por meio de convoluções globais dependentes da entrada e escala como O(L log L).

Em que o HyenaND se diferencia do attention?

O attention escala de forma quadrática — O(L²) em relação ao comprimento da entrada. O HyenaND oferece o mesmo campo receptivo global e a mesma dependência da entrada, mas com complexidade O(L log L), e não exige desdobrar dados multidimensionais em uma sequência unidimensional.

Onde o HyenaND é aplicado?

Segundo os dados do preprint, o HyenaND foi testado em genômica de contexto longo, visão computacional, imagem médica e modelagem de equações diferenciais parciais.