Tencent ouvre AngelSpec : un framework pour accélérer l'inférence des LLM par speculative decoding

Le 30 juillet 2026, Tencent a ouvert le code source d'AngelSpec, un framework torch-native pour l'entraînement de modèles brouillons (draft) de speculative decoding. Sur les modèles Hy3, il a fait passer le taux moyen d'acceptation des tokens proposés de 52,8% à 66,4%, sans perte de qualité de génération.

Qu'est-ce que le speculative decoding

Le speculative decoding est une technique qui accélère la génération d'un grand modèle de langage sans dégrader la qualité de la réponse. Un modèle brouillon léger propose d'un coup plusieurs tokens à venir, puis le modèle principal (target) les vérifie tous en une seule passe via rejection sampling. La méthode est lossless : le texte final est identique à celui que le modèle principal aurait produit seul. Le gain de vitesse dépend de deux facteurs : le nombre de tokens brouillons acceptés et la durée d'un cycle complet « brouillon — vérification ».

• Date de sortie : 30 juillet 2026, licence open source
• Le framework est torch-native et fonctionne avec les modèles de la famille Hy3
• Il couvre deux approches : le MTP autorégressif et la famille block-parallel DFlash (DFly, D-cut)
• Taux moyen d'acceptation des tokens : 52,8% → 66,4% à T=0
• Longueur moyenne du brouillon accepté : 2,58 → 2,99 tokens

Pourquoi un seul modèle universel est perdant

Un seul modèle brouillon universel est perdant parce que le trafic réel est hétérogène et que les deux métriques de vitesse tirent dans des directions opposées. Dans un dialogue ouvert à forte entropie, des dizaines de suites sont admissibles : le taux d'acceptation chute donc rapidement avec la profondeur de la proposition, et générer un long bloc n'est pas rentable. Le code et les mathématiques se comportent autrement : la syntaxe, les identifiants récurrents et les développements pas à pas contraignent davantage les tokens futurs et créent de longues séquences prévisibles.

AngelSpec livre donc deux modèles draft au lieu d'un compromis : le MTP est entraîné sur des données de dialogue variées, tandis que le block-diffusion est renforcé par des exemples de code et de mathématiques.

«

AngelSpec traite l'hétérogénéité de la charge comme une contrainte de conception de premier ordre », indique l'analyse de MarkTechPost.

Comment fonctionne la voie MTP

La voie MTP résout le décalage entre entraînement et inférence grâce à un schéma à paramètres partagés et à plusieurs profondeurs. Le modèle Hy3 d'origine a été entraîné avec une seule couche MTP, sans déroulement récurrent : aux deuxième et troisième positions du brouillon, les tokens étaient donc nettement moins bien acceptés. AngelSpec conserve D profondeurs logiques, mais réutilise un seul bloc MTP physique, déroulé sur D étapes pendant l'entraînement. Selon le principe du Training-Time Test d'EAGLE-3, la profondeur k+1 reçoit non pas le token de référence, mais la prédiction argmax de la profondeur k. De plus, le backbone principal et la tête de langage sont gelés, et l'entraînement s'appuie sur des exécutions du modèle target lui-même.

L'effet se concentre là où il faut. Selon Tencent, sur le benchmark GSM8K, l'acceptation en troisième position est passée de 0,290 à 0,706, et sur HumanEval de 0,387 à 0,757, tandis que la première position a à peine bougé (0,799 → 0,814).

Ce que cela signifie

AngelSpec montre qu'il est plus judicieux de construire l'accélération de l'inférence non pas pour un benchmark moyen, mais pour l'hétérogénéité réelle de la charge, avec des modèles brouillons distincts pour le dialogue et pour le code. Pour les équipes qui servent des LLM en production, c'est un outil ouvert pour tirer plus de vitesse du même matériel sans perte de qualité.

Questions fréquentes

Qu'est-ce que le speculative decoding en termes simples ?

C'est une méthode d'accélération des LLM dans laquelle un petit modèle devine plusieurs tokens suivants à l'avance, puis un grand modèle les vérifie en une seule passe. Si les suppositions sont justes, la génération va plus vite ; la qualité du texte, elle, ne change pas.

En quoi AngelSpec diffère-t-il d'un modèle draft unique ?

AngelSpec entraîne deux modèles spécialisés : un MTP pour les dialogues à forte entropie et un block-parallel pour le code et les mathématiques, qui comportent de longues séquences prévisibles. Selon les mesures de Tencent, cela a fait passer le taux moyen d'acceptation des tokens de 52,8% à 66,4%.