Inclusion AI accélère la génération des LLM jusqu'à 6,9 fois grâce à un arbre de brouillons

Inclusion AI a présenté UBTree, une méthode pour accélérer la génération de texte des grands modèles de langage. Un petit modèle esquisse à l'avance un brouillon sous forme d'arbre de 64 continuations possibles, et le grand modèle vérifie toutes les branches en une seule passe. Le chiffre de « 6,88× » issu des tests signifie que, sur Qwen3-4B, la génération a été presque sept fois plus rapide qu'en mode classique, où le modèle produit un token par passe. Sur Qwen3-8B, le gain atteint 6,94×. Il s'agit d'une moyenne sur sept benchmarks, des problèmes de niveau scolaire de GSM8K et des mathématiques olympiques d'AIME à la programmation avec LiveCodeBench et aux dialogues avec MT-Bench.

Où les drafters parallèles rapides atteignent leurs limites

Le décodage spéculatif repose sur une idée simple. Un grand modèle est lent parce qu'il fait traverser tous ses poids à chaque token. Un petit modèle brouillon (le drafter) propose donc d'avance plusieurs tokens. Le modèle cible les vérifie en une passe et accepte tout ce qui précède la première erreur. Plus la chaîne acceptée est longue, plus le gain est important.

Les drafters sont séquentiels ou parallèles. Un drafter séquentiel compose les tokens un par un, alors qu'un drafter parallèle produit tout le bloc d'un coup. DFlash et DSpark appartiennent aux parallèles, et UBTree prolonge précisément cette famille. Ces drafters sont rapides, mais ils ont un point faible : ils évaluent chaque position du bloc de façon presque indépendante de ses voisines. Lorsque la distribution du modèle cible est floue et que plusieurs continuations sont presque équiprobables, un tel drafter devine mal quels mots se retrouveront côte à côte. La chaîne s'interrompt alors prématurément.

Deux passes : sélection de candidats et assemblage en arbre

UBTree corrige ce défaut sans renoncer au parallélisme. Le brouillon est assemblé en deux étapes parallèles.

• Première étape. Le modèle DFlash sélectionne 64 variantes de token pour chacune des 16 positions du bloc. Il continue de calculer les positions indépendamment.
• Seconde étape. Le sélecteur bigramme estime dans quelle mesure une variante convient comme suite d'une autre. Il fait passer chaque paire de tokens voisins dans deux petits perceptrons, placés au-dessus des embeddings figés du modèle cible, l'un pour le prédécesseur et l'autre pour le successeur. Il ajoute le score obtenu à celui de DFlash. Le poids de ce score dépend de la profondeur de la position.

Toutes les paires sont calculées simultanément. Les scores de transition permettent de constituer un arbre de 64 nœuds, que le modèle cible vérifie en entier en une seule passe. Une branche peut ne pas correspondre au choix du grand modèle, mais une autre correspondra.

Le sélecteur a été entraîné sur des réponses régénérées à haute température, avec une fonction de perte KL renormalisée. Avec ce type d'annotation, les données d'entraînement contiennent non seulement les continuations les plus probables, mais aussi des alternatives plausibles. L'arbre contient ainsi plus souvent la branche que le modèle cible choisira.

Ce que montrent les mesures

• Qwen3-4B et Qwen3-8B : accélération moyenne de 6,88× et 6,94× sur sept benchmarks.
• Face à DARTree : UBTree a devancé la méthode arborescente la plus proche dans les 28 comparaisons, de 7,4 à 13,4% en moyenne.
• Ling3-Flash-124B dans SGLang : 3,27× contre 2,73× pour DSpark et 2,80× pour DFlash.
• Qwen3.8-27B : 4,78× contre 4,32× pour DSpark.
• Contexte long (LongBench-v2) : le nombre de tokens acceptés en un tour de vérification dépasse de 31,0 à 39,7% celui du meilleur concurrent.

Il faut regarder de près cet écart entre les résultats. Le gain de presque sept fois a été obtenu sur de petits modèles Qwen3. Sur Ling3-Flash, avec ses 124 milliards de paramètres, en serving de production, l'accélération est plus modeste : 3,27×. L'écart reste néanmoins sensible : sur les mêmes mesures, DFlash et DSpark obtiennent 2,80× et 2,73×.

Ce qui est utilisable dès maintenant

Avec la méthode, Inclusion AI a publié deux modèles brouillons sous licence MIT :

• Ling3-Tiny-UBTree, 183 millions de paramètres. Il fonctionne avec Ling-3.0-tiny (8 milliards de paramètres, dont 1 milliard actifs).
• Ling3-Flash-UBTree, 482 millions de paramètres. Il fonctionne avec Ling-3.0-flash (124 milliards de paramètres, dont 5 milliards actifs).

Ces modèles ne génèrent rien par eux-mêmes. Ils ne servent que de drafters pour leur modèle cible. Le support d'UBTree pour Ling3 dans SGLang n'est pas encore publié, et l'équipe promet des modèles brouillons supplémentaires d'ici un mois.

Pour les ingénieurs qui hébergent eux-mêmes leurs modèles, la conclusion est la suivante. L'accélération, sans perte de qualité des réponses, vient d'une petite surcouche, et il n'est pas nécessaire de modifier les poids du grand modèle. Mais des drafters prêts à l'emploi n'existent pour l'instant que pour deux modèles de la famille Ling. Pour un autre modèle cible, il faudra entraîner soi-même le drafter, et il vaut mieux revérifier les chiffres obtenus sur Qwen3 avec sa propre charge de travail.