STILL, do HIT Shenzhen: atenção híbrida dentro da camada escolhe tokens pelo conteúdo

A complexidade quadrática da atenção softmax continua sendo a principal limitação dos modelos de contexto longo: o custo cresce como O(n²) em relação ao tamanho da sequência. A equipe do Instituto de Tecnologia de Harbin (campus de Shenzhen) propõe na NeurIPS 2026 a arquitetura STILL, que chama de primeira atenção híbrida intracamada com consciência de conteúdo. O primeiro autor é o doutorando Meng Weikang, que trabalha com arquiteturas eficientes e com atenção linear e híbrida. O autor correspondente é o professor Zhang Zheng. A pesquisa foi divulgada pelo veículo Jiqizhixin.

Temos em mãos apenas o trecho introdutório do material. Ele não traz métricas concretas de qualidade nem de velocidade, então a análise abaixo trata da ideia, e não de resultados.

Por que os híbridos são chamados de «pseudo-híbridos»

A atenção linear é barata: o custo cresce linearmente com o tamanho do contexto. Em compensação, ela comprime o histórico em um estado de tamanho fixo e lida pior com a recuperação exata de detalhes. Por isso, a indústria combina os dois mecanismos. O esquema mais comum é o intercamada: a maioria das camadas é linear, e a atenção softmax completa aparece a cada algumas camadas. É nesse princípio que se baseiam, por exemplo, Jamba, MiniMax-01 e Qwen3-Next.

Os híbridos intracamada dividem o trabalho dentro de uma mesma camada. Uma variante típica usa atenção exata em uma janela local ao redor do token atual, enquanto um mecanismo linear processa todo o resto. Pelo título, os autores da STILL consideram esse esquema uma «pseudo-hibridez» posicional: a decisão sobre quais tokens merecem processamento exato é tomada pela distância, e não pelo que está escrito neles. Um número ou um nome importante no início de um documento longo acaba, assim, na ramificação «barata», no mesmo nível do ruído.

O que a STILL propõe

A afirmação central é que a divisão entre atenção exata e atenção linear dentro da camada é definida pelo conteúdo. O trecho disponível não revela como funciona o mecanismo de seleção. Pode ser um roteador treinável, uma estimativa de importância dos tokens ou outro esquema. Os detalhes só estarão no artigo.

Por ora, os dados públicos permitem saber o seguinte:

• Conferência: NeurIPS 2026.
• Nome da arquitetura: STILL.
• Tipo: híbrido intracamada de atenção softmax e linear.
• Diferença em relação aos antecessores: seleção pelo conteúdo dos tokens, e não pela posição.
• Instituição: Instituto de Tecnologia de Harbin (Shenzhen).
• Métricas de perplexidade, tamanho de contexto e aceleração: não constam no trecho disponível.

O que verificar ao ler o artigo

A abordagem intracamada tem uma vantagem prática. Ela não exige mudar a estrutura da pilha de camadas e, em teoria, dá a cada camada acesso aos dois modos. Mas a seleção por conteúdo tem um custo: a roteamento dinâmico é mais difícil de otimizar com cuidado em GPU do que uma janela estática. Aqui, os kernels e a vazão pesam tanto quanto a complexidade teórica.

Quem deve acompanhar o tema agora: equipes que treinam ou fazem fine-tuning de modelos para contexto longo e comparam esquemas híbridos. O que observar no artigo e no código:

• Como a STILL se comporta em tarefas de recuperação exata (needle-in-a-haystack, retrieval) em comparação com modelos puramente lineares.
• A velocidade real em sequências longas, e não só a complexidade assintótica.
• A comparação com híbridos intercamada, com o mesmo orçamento de parâmetros e de treinamento.
• A existência de uma implementação aberta e a compatibilidade com os frameworks atuais.

Por enquanto, é a candidatura a um próximo passo nas arquiteturas de contexto longo. O veredito depende de números que a parte introdutória não traz.