DScout acelera o Qwen3-8B em 4,14 vezes com um rascunho por difusão

Pesquisadores apresentaram o DScout, um método de treinamento e configuração de um rascunho por difusão (drafter) para speculative decoding. Em seis benchmarks, ele entrega aceleração média de 3,84× no Qwen3-4B e de 4,14× no Qwen3-8B em relação à geração autorregressiva convencional. Contra a melhor solução de referência existente, o ganho é de 9,1% e 7,1%, respectivamente. Uma política separada de escolha de configuração na etapa de inferência acrescenta até 9,75% sobre as configurações fixas do DScout.

Onde o speculative decoding perde velocidade

O esquema é conhecido: um rascunho pequeno propõe vários tokens, e o modelo-alvo os verifica em paralelo. Os rascunhos por difusão vão além e geram um bloco inteiro de tokens de uma vez, em vez de um por um. A lógica é simples: quanto mais propostas e quanto maior o comprimento médio da sequência aceita (MAT), mais rápido o sistema funciona. Os autores mostram que essa lógica falha em dois pontos.

Primeiro, a verificação aceita apenas um prefixo contínuo. Se o token da segunda posição é rejeitado, as previsões corretas da quinta e da sexta posições são desperdiçadas. A função de perda convencional, que calcula a média do erro sobre todas as posições, não leva isso em conta. Segundo, um MAT maior não garante maior vazão. Um rascunho mais profundo e um bloco mais longo alongam cada rodada, e o ganho em tokens aceitos pode ser inteiramente consumido pela latência.

Duas fatorações em vez de uma métrica

A primeira fatoração diz respeito ao treinamento. O DScout decompõe a perda posicional em três componentes: a inclusão da posição no treinamento (inclusion), o seu peso (weighting) e o erro de previsão (prediction loss). Essa decomposição sugeriu três técnicas concretas: treinamento com horizontes mistos (mixed-horizon training), desmascaramento dentro do bloco (intra-block unmasking) e uma perda ponderada pela probabilidade de aceite. Juntas, elas alinham o sinal de treinamento ao funcionamento da verificação de prefixo e elevam o MAT.

A segunda fatoração diz respeito à inferência. A vazão é expressa como a razão entre o MAT e a latência de uma rodada. Daí decorre quais parâmetros devem ser controlados: a profundidade de condicionamento no modelo-alvo (target-conditioning depth), a profundidade do próprio rascunho e o tamanho do bloco na inferência. Cada carga recebe sua própria configuração, em vez de uma única para todas.

Os números do artigo

• Qwen3-4B: aceleração média de 3,84× sobre a autorregressão, 9,1% melhor que a mais forte solução de referência.
• Qwen3-8B: aceleração média de 4,14×, 7,1% melhor.
• A avaliação foi feita em seis benchmarks.
• A política de escolha de configuração rende até 9,75% de aceleração adicional em relação à configuração fixa do DScout.
• A validação foi feita com diferentes modelos e em diferentes níveis de concorrência.

O que os engenheiros de inferência devem fazer

A principal conclusão prática é que o MAT não deve ser tratado como métrica-alvo. Se você ajusta o speculative decoding na sua própria stack, meça tokens por segundo em carga real e observe os dois fatores: o MAT e a latência da rodada. O tamanho de bloco e a profundidade de rascunho ideais dependem do perfil das requisições e da concorrência. Por isso, uma configuração única para todos os regimes provavelmente deixa na mesa uma fatia considerável de velocidade. No artigo, isso chega a 9,75%.

Há também limitações. Os resultados são apresentados para o Qwen3-4B e o Qwen3-8B. Pela descrição, não se sabe como o método se comporta em modelos maiores ou com outra arquitetura. O ganho de 7–9% sobre uma solução de referência forte é uma melhoria de engenharia, e não uma mudança de patamar. Em compensação, ele foi obtido sem alterar o modelo-alvo, e a ideia de treinar o rascunho para o aceite de prefixo se aplica também fora dos esquemas de difusão.