DScout accélère Qwen3-8B d'un facteur 4,14 grâce à un brouillon par diffusion

Des chercheurs présentent DScout, une méthode d'entraînement et de configuration d'un modèle brouillon (drafter) diffusif pour le speculative decoding. Sur six benchmarks, elle offre une accélération moyenne de 3,84× sur Qwen3-4B et de 4,14× sur Qwen3-8B par rapport à une génération autorégressive classique. Face à la meilleure des solutions de référence existantes, le gain est respectivement de 9,1% et 7,1%. Une politique distincte de choix de configuration au moment de l'inférence ajoute jusqu'à 9,75% par rapport aux réglages fixes de DScout.

Où le speculative decoding perd en vitesse

Le principe est connu : un petit modèle brouillon propose plusieurs tokens, et le modèle cible les vérifie en parallèle. Les drafters diffusifs vont plus loin : ils génèrent d'emblée un bloc de tokens, et non un token à la fois. La logique paraît simple : plus il y a de propositions et plus la longueur moyenne de la séquence acceptée (MAT) est élevée, plus le système va vite. Les auteurs montrent que ce raisonnement échoue sur deux points.

Premièrement, la vérification n'accepte qu'un préfixe continu. Si le token en deuxième position est rejeté, les prédictions correctes aux cinquième et sixième positions sont perdues. La loss habituelle, qui moyenne l'erreur sur toutes les positions, n'en tient pas compte. Deuxièmement, une hausse du MAT ne garantit pas une hausse du débit. Un drafter plus profond et un bloc plus long allongent chaque tour, et le gain en tokens acceptés peut être entièrement absorbé par la latence.

Deux factorisations plutôt qu'une seule métrique

La première factorisation concerne l'entraînement. DScout décompose la loss positionnelle en trois composantes : l'inclusion de la position dans l'entraînement (inclusion), son poids (weighting) et l'erreur de prédiction (prediction loss). Cette décomposition a suggéré trois techniques concrètes : l'entraînement à horizons mixtes (mixed-horizon training), le démasquage à l'intérieur du bloc (intra-block unmasking) et une loss pondérée par la probabilité d'acceptation. Ensemble, elles alignent le signal d'entraînement sur le fonctionnement de la vérification du préfixe et font monter le MAT.

La seconde factorisation concerne l'inférence. Le débit s'exprime comme le rapport entre le MAT et la latence d'un tour. On en déduit les paramètres à piloter : la profondeur de conditionnement sur le modèle cible (target-conditioning depth), la profondeur du drafter lui-même et la taille du bloc à l'inférence. Chaque charge reçoit sa propre configuration, au lieu d'une configuration unique pour tous.

Les chiffres de l'article

• Qwen3-4B : accélération moyenne de 3,84× par rapport à l'autorégressif, soit 9,1% de mieux que la meilleure solution de référence.
• Qwen3-8B : accélération moyenne de 4,14×, soit 7,1% de mieux.
• L'évaluation porte sur six benchmarks.
• La politique de choix de configuration apporte jusqu'à 9,75% d'accélération supplémentaire par rapport à la configuration fixe de DScout.
• La validation a été menée sur plusieurs modèles et à différents niveaux de concurrence.

Ce que les ingénieurs d'inférence doivent en retenir

L'enseignement pratique principal : le MAT ne doit pas être traité comme la métrique cible. Si vous réglez le speculative decoding dans votre propre stack, mesurez les tokens par seconde sur une charge réelle et surveillez les deux facteurs, le MAT et la latence d'un tour. La taille de bloc et la profondeur de drafter optimales dépendent du profil des requêtes et de la concurrence ; une configuration unique pour tous les régimes laisse donc probablement une part notable de performance sur la table. Dans l'article, elle atteint jusqu'à 9,75%.

Il y a aussi des limites. Les résultats portent sur Qwen3-4B et Qwen3-8B. D'après la description, on ignore comment la méthode se comporte sur des modèles plus grands ou d'architecture différente. Le gain de 7 à 9% sur une solution de référence solide relève de l'amélioration d'ingénierie, pas d'un changement de catégorie. En revanche, il est obtenu sans modifier le modèle cible, et l'idée d'entraîner le drafter pour l'acceptation du préfixe s'applique aussi au-delà des schémas diffusifs.