Les LLM à diffusion consomment trois fois plus de passes pour un récit que pour de la grammaire

Les modèles de langage à diffusion séduisent parce qu'ils émettent plusieurs tokens par passe avant et peuvent écrire plus vite que les modèles autorégressifs. Une nouvelle analyse de deux modèles de ce type sur 10 tâches montre toutefois que leur vitesse varie fortement. Dans DiffusionGemma, un token pour composer un récit exige plus de trois fois plus de passes qu'un token pour corriger de la grammaire. Deux réponses de même longueur en tokens peuvent donc nécessiter des calculs très différents.

Pourquoi copier coûte moins cher qu'inventer

Le mécanisme est le suivant : pendant la génération, le modèle à diffusion décide lui-même du nombre de passes à dépenser. Si une partie du texte lui paraît déjà claire, il fixe d'un coup un grand nombre de tokens. Sinon, il multiplie les itérations et affine le résultat.

Les auteurs ont comparé le coût selon les tâches et obtiennent un tableau net. Un texte copié depuis l'entrée ou légèrement retouché coûte peu. Une lettre ouverte coûte cher. La correction grammaticale repose presque entièrement sur un matériau déjà connu, alors qu'un récit doit être inventé de toutes pièces.

Deux propriétés du texte généré expliquent cet écart :

• la part de matériau nouveau par rapport à l'entrée ;
• la rareté des mots au sein de la tâche concernée.

Plus la réponse contient d'éléments nouveaux et inhabituels, plus le modèle dépense de passes par token.

La même logique s'applique au sein d'une seule réponse lorsque le modèle raisonne d'abord. Quand la réponse finale reprend sa propre chaîne de raisonnement, elle coûte peu. Quand elle ajoute un élément nouveau, le coût grimpe. L'avantage de calcul de la diffusion dépend donc de la part de la sortie qui est déjà déterminée.

La taxe de tokenisation dans la génération multilingue

Un autre résultat concerne les langues. Celles que le tokenizer découpe en de nombreux fragments exigent davantage de passes par token. Elles paient déjà plus cher pour le simple volume, puisqu'un texte dans ces langues contient plus de tokens. La charge est donc double, et l'écart de coût de service entre les langues se révèle encore plus grand que ne le laisse penser la longueur des séquences.

Pour les entreprises qui vendent un même modèle sur des dizaines de marchés, l'enjeu est concret. Un décompte au nombre de tokens sous-estime le coût réel des langues fortement tokenisées si l'inférence repose sur la diffusion.

La vitesse de décodage, signal de justesse

La partie la plus applicable de l'étude touche à la qualité. Sur un même problème de mathématiques, les réponses fausses exigent plus de passes par token que les réponses justes. Le modèle semble « hésiter » là où il n'est pas sûr de lui.

Les auteurs ont exploité ce phénomène comme un signal : ils ont pondéré les réponses candidates par leur vitesse de décodage. Cette approche a devancé le simple vote majoritaire de 4,2 points au maximum. Elle ne demande aucun calcul supplémentaire, car le nombre de passes est connu au cours d'une génération ordinaire.

Principales métriques de l'étude :

• modèles : deux modèles à diffusion, dont DiffusionGemma ;
• jeu d'évaluation : 10 tâches ;
• récit contre correction grammaticale : plus de 3 fois plus de passes par token ;
• facteurs de coût : nouveauté par rapport à l'entrée et rareté des mots dans la tâche ;
• gain de la pondération par la vitesse face au majority voting : jusqu'à 4,2 points, sans coût supplémentaire.

Ce qu'il faut changer dans l'inférence et la planification

Premier point : on ne peut pas budgéter l'inférence par diffusion d'après la longueur de la sortie. Il faut évaluer le type de tâche. La correction, la reformulation, la mise en forme et l'extraction de données structurées à partir de l'entrée tombent dans la zone peu coûteuse. La génération de longs textes créatifs relève de la zone coûteuse, et un service dont le profil de charge est large subira de fortes variations de latence et de coûts.

Deuxième point : le nombre de passes peut être journalisé comme donnée de télémétrie. Un pic sur une requête donnée signale un risque d'erreur élevé, et il est raisonnable d'envoyer ces réponses vers une revérification, un nouvel échantillonnage ou un humain. Pour les tâches d'autocohérence, où l'on génère plusieurs candidats, la pondération par la vitesse apporte un gain sans coût additionnel.

Troisième point : pour tarifer des produits multilingues, il faut tenir compte des deux effets, le nombre de tokens et le nombre de passes par token. Sinon, les langues à tokenisation lourde deviendront discrètement déficitaires.

La limite de l'étude est évidente : elle porte sur deux modèles et 10 tâches. Mais la direction est claire. Les LLM à diffusion l'emportent là où une grande partie de la réponse est prévisible, et le processus de décodage lui-même porte une information que presque personne n'exploite encore.