DScout acelera Qwen3-8B 4,14 veces con un borrador de difusión

Un grupo de investigadores ha presentado DScout, un método para entrenar y configurar un borrador de difusión (drafter) para speculative decoding. En seis benchmarks logra una aceleración media de 3,84× en Qwen3-4B y de 4,14× en Qwen3-8B respecto a la generación autorregresiva convencional. Frente a la mejor de las soluciones de referencia existentes, la mejora es del 9,1% y del 7,1%, respectivamente. Una política independiente de selección de configuración en la fase de inferencia añade hasta un 9,75% sobre los ajustes fijos de DScout.

Dónde se pierde velocidad en el speculative decoding

El esquema es conocido: un borrador pequeño propone varios tokens y el modelo objetivo los verifica en paralelo. Los borradores de difusión van un paso más allá y generan un bloque entero de tokens de una vez, en lugar de uno a uno. La lógica es simple: cuantas más propuestas y cuanto mayor sea la longitud media de la cadena aceptada (MAT), más rápido funciona el sistema. Los autores muestran que esa lógica falla en dos puntos.

Primero, la verificación solo acepta un prefijo continuo. Si se rechaza el token de la segunda posición, las predicciones correctas de la quinta y la sexta se desperdician. La pérdida habitual, que promedia el error entre todas las posiciones, no lo tiene en cuenta. Segundo, un MAT más alto no garantiza más rendimiento. Un borrador más profundo y un bloque más largo alargan cada ronda, y la ganancia en tokens aceptados puede perderse por completo en latencia.

Dos factorizaciones en lugar de una sola métrica

La primera factorización afecta al entrenamiento. DScout descompone la pérdida posicional en tres componentes: la inclusión de la posición en el entrenamiento (inclusion), su peso (weighting) y el error de predicción (prediction loss). Esa descomposición sugirió tres técnicas concretas: entrenamiento con horizontes mixtos (mixed-horizon training), desenmascarado dentro del bloque (intra-block unmasking) y una pérdida ponderada por la probabilidad de aceptación. En conjunto, adaptan la señal de entrenamiento al funcionamiento de la verificación del prefijo y elevan el MAT.

La segunda factorización afecta a la inferencia. El rendimiento se expresa como la relación entre el MAT y la latencia de una ronda. De ahí se deduce qué parámetros conviene controlar: la profundidad de condicionamiento sobre el modelo objetivo (target-conditioning depth), la profundidad del propio borrador y el tamaño del bloque en inferencia. Cada carga recibe su propia configuración, en lugar de una única para todas.

Las cifras del artículo

• Qwen3-4B: aceleración media de 3,84× respecto a la autorregresión, un 9,1% mejor que la solución de referencia más fuerte.
• Qwen3-8B: aceleración media de 4,14×, un 7,1% mejor.
• La evaluación se realizó en seis benchmarks.
• La política de selección de configuración aporta hasta un 9,75% de aceleración adicional frente a la configuración fija de DScout.
• La validación se hizo con distintos modelos y con diferentes niveles de concurrencia.

Qué deben hacer los ingenieros de inferencia

La principal conclusión práctica es que el MAT no debe tratarse como la métrica objetivo. Si configuras speculative decoding en tu propio stack, mide los tokens por segundo con carga real y observa los dos factores: el MAT y la latencia de ronda. El tamaño de bloque y la profundidad del borrador óptimos dependen del perfil de las peticiones y de la concurrencia, por lo que una configuración única para todos los regímenes probablemente deja sobre la mesa una parte notable de la velocidad. En el artículo, hasta un 9,75%.

También hay limitaciones. Los resultados se presentan para Qwen3-4B y Qwen3-8B. Según la descripción, se desconoce cómo se comportaría el método con modelos mayores o con otra arquitectura. La mejora del 7–9% sobre una solución de referencia sólida es un avance de ingeniería, no un cambio de categoría. En cambio, se obtiene sin modificar el modelo objetivo, y la idea de entrenar el borrador para la aceptación del prefijo es aplicable también fuera de los esquemas de difusión.