NVIDIA presenta SPEED-Bench, un benchmark único para la decodificación especulativa

NVIDIA ha presentado en Hugging Face SPEED-Bench, un nuevo benchmark para la decodificación especulativa (speculative decoding), una técnica para acelerar la inferencia de los grandes modelos de lenguaje. Su objetivo es medir no los picos de rendimiento de laboratorio, sino el comportamiento de los modelos y de los motores de inferencia en tareas más cercanas al uso real.

Cómo está construido SPEED-Bench

Los autores parten de un problema sencillo: las pruebas existentes están fragmentadas. Unas evalúan la calidad del modelo borrador (draft) con muestras demasiado pequeñas, otras miden el throughput con prompts cortos y batch size 1, y otras dependen de un stack concreto que refleja mal la producción. Como resultado, es difícil comparar entre sí los métodos de decodificación especulativa: un mismo algoritmo puede lucir de maravilla en un dataset de juguete y rendir notablemente peor con contextos largos o con alta concurrencia de peticiones.

SPEED-Bench se divide en dos partes y se completa con un marco de medición único. La partición qualitative contiene 880 prompts de 18 fuentes públicas, repartidos en 11 categorías, desde coding y math hasta roleplay, RAG, summarization y multilingual. Cada categoría tiene 80 ejemplos, seleccionados para reducir la duplicación semántica y cubrir el mayor número posible de escenarios distintos. Para la selección, los autores generaron embeddings de los candidatos con el modelo text-embedding-3-small y minimizaron la similitud media por pares dentro de cada categoría.

• La partición qualitative mide la acceptance rate y la acceptance length en distintos dominios
• La partición throughput comprueba la velocidad con secuencias de entrada de 1k a 32k tokens
• Para cada longitud hay tres niveles de dificultad: low-, mixed- y high-entropy
• Un bucket contiene 1536 prompts, lo que permite trazar curvas de throughput estables con batch size de hasta 512
• El marco funciona con TensorRT-LLM, vLLM y SGLang

La comparación justa entre motores se resuelve aparte. Los distintos sistemas de inferencia aplican de forma diferente las chat templates, los tokens BOS y la tokenización, por lo que un mismo modelo puede recibir entradas ligeramente distintas. En SPEED-Bench la preparación del prompt se saca de los motores: estos reciben secuencias ya tokenizadas. Así se reduce la influencia de diferencias accesorias y se pueden comparar los propios algoritmos de decodificación especulativa, y no los efectos secundarios del preprocesamiento. El marco también registra telemetría detallada de step latency, user TPS y output throughput total.

Qué mostraron las pruebas

Los primeros resultados indican que la decodificación especulativa depende mucho del tipo de tarea. En dominios de baja entropía, como coding y math, la acceptance length es mayor: al drafter le resulta más fácil adivinar los siguientes tokens. En tareas más abiertas, como roleplay y writing, los valores son menores.

En los ejemplos del artículo, las MTP heads nativas de Qwen3-Next dan una acceptance length media de 2,81, EAGLE3 sobre GPT-OSS 120B alcanza 2,25 y N-Gram sobre Llama 3.3 70B llega a 1,41. Además, con batch size 32, N-Gram incluso cae a una ralentización media de hasta 0,88x en lugar de acelerar.

Otra conclusión se refiere a las optimizaciones agresivas. Los autores examinan por separado el vocabulary pruning en EAGLE3, una técnica que reduce el coste de la proyección final. En coding y math su efecto es casi imperceptible, pero en la cola larga de consultas de usuarios, sobre todo en multilingual, RAG y summarization, la acceptance length cae con más fuerza. Es decir, una optimización que parece inocua en un dataset reducido puede empeorar el comportamiento real en un conjunto de tareas más amplio.

La observación más práctica tiene que ver con las cargas sintéticas. En la industria sigue siendo habitual ejecutar la inferencia con tokens aleatorios, pero en decodificación especulativa ese modo distorsiona el panorama. El modelo reconoce el ruido, responde con plantillas y eleva artificialmente la acceptance length. En las mediciones de SPEED-Bench, esto infla el throughput en torno a un 23 % frente a cargas realistas. Para los equipos es una señal directa: los benchmarks sintéticos pueden llevar a elegir mal la draft length, o incluso todo el esquema de aceleración.

Qué significa

SPEED-Bench intenta acercar la evaluación de la decodificación especulativa a lo que realmente importa a los equipos que sirven LLM en producción: contextos largos, batch sizes altos, distintos dominios y condiciones comparables entre motores. Si el benchmark se asienta, la conversación sobre la aceleración de LLM podría pasar de las cifras vistosas en pruebas sintéticas a datos reproducibles sobre dónde funciona exactamente la aceleración y dónde no. Para los equipos de infraestructura e investigación, eso es más útil que otro récord en un dataset conveniente.