NVIDIA apresenta o SPEED-Bench, um benchmark único para decodificação especulativa

A NVIDIA apresentou no Hugging Face o SPEED-Bench, um novo benchmark para speculative decoding, técnica de aceleração da inferência de grandes modelos de linguagem. O objetivo é medir não os picos de desempenho de laboratório, mas o comportamento de modelos e motores de inferência em tarefas mais próximas da operação real.

Como o SPEED-Bench é estruturado

Os autores partem de um problema simples: os testes existentes são fragmentados. Alguns avaliam a qualidade do modelo draft com amostras pequenas demais, outros medem throughput com prompts curtos e batch size 1, e outros ainda dependem de um stack específico que reflete mal a produção. Com isso, é difícil comparar métodos de speculative decoding entre si: o mesmo algoritmo pode parecer ótimo em um dataset de brinquedo e ficar nitidamente pior em contextos longos ou com alta concorrência de requisições.

O SPEED-Bench é dividido em duas partes e complementado por um framework de medição único. O split qualitative tem 880 prompts de 18 fontes públicas, distribuídos em 11 categorias, de coding e math a roleplay, RAG, summarization e multilingual. Cada categoria tem 80 exemplos, escolhidos para reduzir a duplicação semântica e cobrir o maior número possível de cenários. Na seleção, os autores geraram embeddings dos candidatos com o modelo text-embedding-3-small e minimizaram a similaridade média par a par dentro de cada categoria.

• O split qualitative mede acceptance rate e acceptance length em diferentes domínios
• O split throughput testa a velocidade em sequências de entrada de 1k a 32k tokens
• Para cada comprimento há três níveis de dificuldade: low-, mixed- e high-entropy
• Um bucket tem 1.536 prompts, o que permite traçar curvas de throughput estáveis com batch size de até 512
• O framework funciona com TensorRT-LLM, vLLM e SGLang

A comparação justa entre motores foi tratada à parte. Sistemas de inferência diferentes aplicam chat templates, tokens BOS e tokenização de modos distintos, e por isso o mesmo modelo pode receber entradas ligeiramente diferentes. No SPEED-Bench, a preparação do prompt fica fora dos motores: eles recebem sequências já tokenizadas. Isso reduz a influência de diferenças acessórias e permite comparar os próprios algoritmos de speculative decoding, e não efeitos colaterais do pré-processamento. O framework também coleta telemetria detalhada de step latency, user TPS e output throughput total.

O que os testes mostraram

Os primeiros resultados indicam que o speculative decoding depende muito do tipo de tarefa. Em domínios de baixa entropia, como coding e math, a acceptance length é maior: é mais fácil para o drafter acertar os próximos tokens. Em tarefas mais abertas, como roleplay e writing, os números são menores.

Nos exemplos do artigo, as MTP heads nativas do Qwen3-Next dão acceptance length média de 2,81, o EAGLE3 no GPT-OSS 120B chega a 2,25 e o N-Gram no Llama 3.3 70B fica em 1,41. Além disso, com batch size 32, o N-Gram chega a ter uma lentidão média de até 0,88x, em vez de aceleração.

Outra conclusão diz respeito a otimizações agressivas. Os autores analisam separadamente o vocabulary pruning no EAGLE3, técnica que reduz o custo da projeção final. Em coding e math, o efeito é quase imperceptível, mas na cauda longa de consultas de usuários, principalmente em multilingual, RAG e summarization, a acceptance length cai mais. Ou seja, uma otimização que parece inofensiva em um dataset estreito pode piorar o comportamento real em um conjunto mais amplo de tarefas.

A observação mais prática envolve cargas sintéticas. No setor, ainda é comum rodar inferência com tokens aleatórios, mas para speculative decoding esse modo distorce o quadro. O modelo reconhece o ruído, responde de forma padronizada e eleva artificialmente a acceptance length. Nas medições do SPEED-Bench, isso infla o throughput em cerca de 23% em comparação com cargas realistas. Para as equipes, é um sinal direto: benchmarks sintéticos podem levar à escolha errada do draft length, ou até de todo o esquema de aceleração.

O que isso significa

O SPEED-Bench é uma tentativa de aproximar a avaliação de speculative decoding do que realmente importa para equipes que servem LLMs em produção: contextos longos, batch sizes altos, diferentes domínios e condições comparáveis entre motores. Se o benchmark pegar, a discussão sobre aceleração de LLMs pode sair dos números bonitos em testes sintéticos e ir para dados reproduzíveis sobre onde exatamente a aceleração funciona e onde não funciona. Para equipes de infra e pesquisa, isso é mais útil do que mais um recorde em um dataset conveniente.