DeLS-Spec acelera a inferência de LLMs sem retreinar os modelos

Pesquisadores propuseram o DeLS-Spec, uma nova abordagem para acelerar a geração de texto em modelos de linguagem. É o primeiro método a conseguir uma aceleração significativa sem precisar retreinar os próprios modelos, o que reduz bastante a barreira para adotar esse tipo de otimização.

Como funciona o speculative decoding

O speculative decoding é uma técnica que acelera a inferência de LLMs ao gerar vários tokens em paralelo, em vez de um de cada vez. Um modelo pequeno, o drafter, prevê tokens candidatos, e o modelo principal verifica se estão corretos em uma única passada. Se a previsão bate, os tokens são aceitos; se não, o processo se repete.

Métodos mais avançados, como o DFlash, geram um bloco inteiro de tokens de uma só vez, acelerando ainda mais o processo. Mas isso cria um problema: os tokens dentro do bloco costumam ser previstos de forma independente, sem considerar a dependência causal entre eles.

O problema dos métodos existentes

Outros métodos recentes, como Domino e DSpark, tentaram incluir causalidade no block-parallel drafting, ou seja, levar em conta as dependências entre os tokens do bloco. Mas, para isso, era preciso treinar o drafter totalmente do zero, o que é caro e exige enormes recursos computacionais. Organizações sem petabytes de dados e clusters de GPUs em larga escala não têm como arcar com esse retreinamento.

O que há de novo no DeLS-Spec

O DeLS-Spec resolve o problema dividindo os papéis entre dois especialistas. O método usa um modelo DFlash existente como "especialista em contexto longo" e adiciona uma cabeça local leve como "especialista em contexto curto".

A principal vantagem: a cabeça local pode ser treinada de forma totalmente independente, sem treinamento conjunto com o modelo principal ou com o backbone do DFlash. Isso reduz drasticamente o custo computacional. A cabeça local é uma rede pequena que olha apenas o contexto recente e aprende a prever tokens levando em conta a dependência causal.

• O método foi aplicado a modelos Qwen3
• O treinamento exige custo mínimo: só o adaptador leve é treinado
• Na inferência, os logits dos dois especialistas são combinados
• A cabeça local não depende de uma versão específica do checkpoint do DFlash
• Melhoram tanto a velocidade quanto o comprimento dos tokens aceitos nos benchmarks

Resultados dos testes

Nos benchmarks do Qwen3, o DeLS-Spec melhorou tanto a velocidade de execução (speedup) quanto o comprimento médio dos tokens aceitos (average acceptance length) em comparação com o DFlash. Isso vale para três categorias de tarefas: matemática, programação e sistemas de diálogo.

Por que isso importa: sequências mais longas de tokens aceitos significam que o drafter prevê com mais precisão e que o sistema consegue gerar mais texto por iteração, o que afeta diretamente o throughput.

Por que isso importa para a indústria

Acelerar a inferência de LLMs não é só uma questão de velocidade, mas também de economia. Treinar um adaptador pequeno custa menos do que retreinar todo o drafter ou o modelo principal. Isso torna os métodos de otimização mais acessíveis a organizações sem recursos para um retreinamento em larga escala.

À medida que os LLMs ficam mais complexos e consomem mais energia, melhorias incrementais na eficiência de inferência se acumulam e viram ganhos relevantes de velocidade e custo. O DeLS-Spec mostra uma tendência importante: os melhores resultados muitas vezes não vêm de retreinar grandes modelos, mas de combinar com elegância componentes que já existem.

O que isso significa

Essa abordagem abre caminho para uma otimização de LLMs mais acessível em organizações de todos os tamanhos, permitindo que até equipes pequenas obtenham ganhos de velocidade sem orçamentos enormes de computação.