LISA: atenção esparsa acelera raciocínios longos de LLMs em 50% sem retreinamento

Pesquisadores apresentaram o LISA (Linear-Indexed Sparse Attention), um módulo de substituição do mecanismo de atenção que, em julho de 2026, mostrou 50% de aceleração na inferência com contexto de 16 mil tokens e melhora de 5,6% na qualidade do raciocínio, sem exigir treinamento do modelo do zero. O trabalho foi publicado no arXiv (2607.19358).

Como o LISA funciona

O LISA se encaixa em um modelo existente como substituto plug-and-play do self-attention padrão e combina dois ramos paralelos. O primeiro é o Linear Attention, com complexidade O(n), responsável pela «memória de longo prazo» e pelas dependências distantes. O segundo é o Lightning Indexer, que seleciona os top-M tokens mais importantes de todo o contexto e os envia ao Sparse Self-Attention. Os dois ramos são combinados por um mecanismo de gating.

• Nome: LISA (Linear-Indexed Sparse Attention), preprint arXiv 2607.19358
• A complexidade da inferência cai de O(n²) para O(nM), onde M é muito menor que n
• Dois componentes: Linear Attention (memória O(n)) + Lightning Indexer + Sparse Self-Attention
• Não exige pré-treinamento do zero: o módulo é integrado a um modelo já pronto
• Testes realizados em modelos DeepSeek-distilled-Qwen

Por que isso importa para a inferência

O self-attention padrão tem complexidade quadrática O(n²), e por isso o custo da inferência dispara em sequências longas. Esse virou um gargalo para modelos com cadeias de raciocínio longas (long chain-of-thought), como o DeepSeek-R1: o paradigma de test-time scaling os leva a gerar contextos de raciocínio cada vez maiores, e os custos crescem junto. Segundo a avaliação dos autores, é exatamente isso que limita a inferência de modelos long-CoT em produção.

O LISA ataca o problema pela arquitetura, e não com hardware mais potente. Ao trocar parte da atenção completa por atenção esparsa e linear, o método move a geração de n tokens do regime O(n²) para o regime O(nM), com M (o número de tokens selecionados) bem menor que o comprimento do contexto n.

O que os testes mostraram

Em modelos da família DeepSeek-distilled-Qwen, o LISA entregou 50% de aceleração na inferência com contexto de 16K tokens e, ao mesmo tempo, elevou em 5,6% o resultado médio em benchmarks de raciocínio, incluindo AIME e MATH-500. Ou seja, o método não apenas acelera, como também não perde qualidade.

O treinamento ocorre em duas etapas. Na primeira, a atenção linear é integrada ao modelo para capturar dependências distantes, complementada por um mecanismo de janela deslizante (sliding-window); ela é otimizada por destilação de conhecimento para aproximar a distribuição do self-attention completo de um modelo professor «congelado». Na segunda etapa, o Indexer substitui a janela deslizante estática e é treinado com uma nova função de perda, a divergência KL por cabeça (per-head KL), que alinha a seleção de tokens do Indexer aos padrões de atenção do professor.

«O LISA proporciona 50% de aceleração na inferência com contexto de

16K tokens e, ao mesmo tempo, melhora em 5,6% o resultado médio em benchmarks de raciocínio, incluindo AIME e MATH-500», diz o resumo do estudo no arXiv.

O que isso significa

Raciocínios longos custam caro justamente por causa da atenção quadrática, e o LISA aponta um caminho para barateá-los sem retreinar o modelo do zero: basta integrar o módulo a uma rede já pronta. Para equipes que implantam modelos de raciocínio em produção, é uma forma direta de cortar custos de inferência sem sacrificar a precisão.

Perguntas frequentes

O que é o LISA?

O LISA (Linear-Indexed Sparse Attention) é um módulo de substituição do mecanismo de atenção para modelos de linguagem. Ele combina atenção linear com atenção esparsa que seleciona os tokens importantes, reduzindo a complexidade da inferência de O(n²) para O(nM).

É preciso retreinar o modelo para usar o LISA?

Não, não é necessário treinar do zero. O LISA é um substituto plug-and-play do self-attention; ele é integrado a um modelo pronto e ajustado em duas etapas, por meio de destilação de conhecimento a partir de um modelo professor.

Quanto o LISA acelera a inferência?

Segundo o resumo do estudo, em modelos DeepSeek-distilled-Qwen o método oferece 50% de aceleração na inferência com contexto de 16K tokens e, ao mesmo tempo, eleva a qualidade média do raciocínio em 5,6% nos benchmarks AIME e MATH-500.