Equipe da Qwen lança FlashQLA: atenção linear até 3× mais rápida em NVIDIA Hopper

A equipe da QwenLM lançou o FlashQLA, biblioteca aberta de kernels que acelera em até três vezes as operações de atenção linear em GPUs com arquitetura NVIDIA Hopper. A biblioteca mira dois cenários: o pré-treinamento em larga escala de modelos de linguagem e a inferência agêntica em dispositivos edge.

O que é o FlashQLA

O FlashQLA otimiza as passagens direta e reversa da arquitetura Gated Delta Network (GDN) no modo Chunked Prefill. A GDN é uma variante de atenção linear: sua complexidade computacional é O(n) em relação ao tamanho do contexto, contra O(n²) dos transformers padrão. Na prática, isso significa que modelos baseados em GDN conseguem trabalhar com contextos muito longos sem um crescimento explosivo do consumo de memória.

O problema é que as vantagens teóricas não se convertem em velocidade real sem kernels eficientes de baixo nível. O FlashQLA preenche essa lacuna.

O nome faz referência ao FlashAttention, biblioteca que tornou a atenção quadrática prática para sequências longas por meio da otimização de memória com tiles. O FlashQLA resolve um problema semelhante para arquiteturas lineares: oferece a camada de infraestrutura sem a qual uma abordagem teoricamente promissora não produz números reais.

De onde vem o ganho de 3×

O ganho de desempenho vem de uma otimização profunda para NVIDIA Hopper (H100/H200), GPUs que dominam os data centers de nuvem atuais. A Hopper inclui unidades especializadas para lógica computacional recorrente e esparsa, que combinam bem com os requisitos da GDN.

A biblioteca cobre vários cenários:

• Pré-treinamento em larga escala — uma passagem reversa mais rápida reduz o tempo e o custo do treinamento
• Inferência edge — execução eficiente sem uma GPU potente na nuvem, importante para implantação em dispositivos
• Chunked Prefill — dividir um contexto de entrada longo em blocos reduz o pico de consumo de memória
• Inferência agêntica — chamadas repetidas ao modelo em um mesmo fluxo sem acúmulo de latência
• Arquiteturas híbridas — compatibilidade com modelos que combinam atenção linear e padrão

Antes do FlashQLA, desenvolvedores com arquiteturas GDN obtinham benchmarks fracos não por falhas da arquitetura em si, mas pela falta de kernels otimizados. Isso criava a falsa impressão de que a atenção linear não era competitiva.

Por que isso importa para a Alibaba e a Qwen

A equipe Qwen, da Alibaba Cloud, é um dos players mais ativos no desenvolvimento de LLMs de código aberto. A série de modelos Qwen amplia suas capacidades de forma contínua: contexto longo, multimodalidade, versões especializadas em código e matemática e suporte a chamadas de ferramentas.

O FlashQLA é uma aposta em infraestrutura, não apenas um artefato de pesquisa. A Alibaba aposta que arquiteturas lineares e híbridas ocuparão um nicho relevante na próxima geração de LLMs, especialmente onde contexto longo e eficiência de recursos são importantes. O foco na Hopper, e não em gerações mais antigas de GPU, indica um olhar para cenários de produção, não para condições de laboratório.

O que isso significa

O FlashQLA sinaliza que as arquiteturas lineares estão saindo da fase de pesquisa e entrando na de engenharia. Um ganho de até 3× em hardware atual torna os modelos GDN realmente competitivos com os transformers em tarefas de contexto longo e inferência agêntica. Para desenvolvedores que trabalham com arquiteturas não baseadas em transformers, chega um conjunto de ferramentas de verdade, e não apenas promessas teóricas.