HyenaND: operador subquadrático no lugar do attention para dados multidimensionais

Pesquisadores apresentaram o HyenaND, um operador subquadrático para redes neurais que substitui o mecanismo de attention no trabalho com dados multidimensionais. Ele processa imagens, volumes e equações diferenciais parciais (PDE) em sua geometria nativa, sem desdobrá-los em uma sequência unidimensional. O preprint foi publicado no arXiv em julho de 2026, e a principal promessa é a complexidade O(L log L), em vez da O(L²) quadrática do attention.

Onde o attention falha

O attention escala de forma quadrática: para uma entrada de comprimento L, o custo cresce como O(L²), o que torna o contexto longo caro. Segundo os autores, todas as alternativas subquadráticas existentes precisam fazer concessões em dados multidimensionais.

As convoluções tradicionais não têm campo receptivo global nem dependência da entrada. Já os modelos recorrentes exigem desdobrar uma imagem ou um volume tridimensional em uma ordem artificial de varredura unidimensional, e essa ordem destrói a estrutura espacial original dos dados.

Como funciona o HyenaND

O HyenaND é um operador global e dependente da entrada (input-dependent) que atua diretamente na geometria nativa dos dados multidimensionais, por meio de convoluções com kernels multidimensionais parametrizados de forma implícita. Diferentemente da convolução comum, o kernel aqui é global e se adapta a cada entrada específica.

A velocidade prática vem da implementação em CUDA chamada nSubQ, que funde o caminho da convolução via transformada rápida de Fourier (FFT) em um único kernel, convertendo a complexidade teórica O(L log L) em ganho real de tempo.

• HyenaND — operador subquadrático, global e input-dependent
• Trabalha com imagens, volumes 3D e PDE sem achatar os dados em 1D
• O kernel CUDA nSubQ funde o caminho de convolução via FFT em uma única operação
• Complexidade O(L log L) contra O(L²) do attention
• Testado em 4 domínios: genômica, visão computacional, imagem médica e PDE

O que os experimentos mostraram

As pilhas puras de HyenaND igualaram em precisão baselines fortes de attention em quatro tipos de tarefa: genômica de contexto longo, visão computacional, imagem médica e modelagem de equações diferenciais parciais. Ou seja, abrir mão do attention quadrático não custou qualidade.

As configurações híbridas foram ainda melhores: alternar camadas de HyenaND e attention superou tanto o attention puro quanto os híbridos baseados em modelos recorrentes.

"As configurações híbridas, que alternam camadas de

HyenaND e attention, superam tanto o attention puro quanto híbridos fortes baseados em recorrência", diz o resumo do preprint no arXiv.

O que isso significa

A corrida para substituir o attention está saindo do texto unidimensional e chegando aos dados multidimensionais. O HyenaND mostra que é possível manter a precisão dos transformers e eliminar o custo quadrático onde os dados são, por natureza, bi e tridimensionais, como em medicina, biologia e simulação física.

Perguntas frequentes

O que é o HyenaND?

O HyenaND é um operador subquadrático para redes neurais, uma alternativa ao attention. Ele processa dados multidimensionais (imagens, volumes, PDE) em sua geometria nativa, por meio de convoluções globais dependentes da entrada, e escala como O(L log L).

Em que o HyenaND difere do attention?

O attention escala de forma quadrática, O(L²) em relação ao comprimento da entrada. O HyenaND oferece o mesmo campo receptivo global e a mesma dependência da entrada, mas com complexidade O(L log L), e não exige desdobrar dados multidimensionais em uma sequência unidimensional.

Onde o HyenaND é aplicado?

Segundo o preprint, o HyenaND foi testado em genômica de contexto longo, visão computacional, imagem médica e modelagem de equações diferenciais parciais.