DiffusionGemma de Google écrit le texte par blocs de 256 tokens au lieu de procéder token par token

Presque tous les modèles de langage que vous utilisez fonctionnent de la même manière : ils produisent un token, l'ajoutent au texte, recalculent l'ensemble, puis génèrent le suivant. Cette approche présente deux problèmes bien connus. Le premier : en exécution locale pour un seul utilisateur, le goulot d'étranglement n'est pas le calcul, mais la mémoire. Pour produire un seul token, le modèle recharge tous les poids à chaque fois, tandis que les unités de calcul du GPU restent inactives. Le second : ce qui est écrit ne peut plus être réécrit. Si le modèle s'engage dans une impasse au milieu de sa réponse, il ne peut plus revenir en arrière.

DiffusionGemma de Google DeepMind cherche à résoudre ces deux problèmes à la fois. Il s'agit d'un modèle ouvert expérimental sous licence Apache 2.0, publié le 10 juin 2026. Sous le capot se trouve l'architecture Gemma 4 26B : un Mixture-of-Experts de 26 milliards de paramètres, dont 3,8 milliards sont activés par token, d'où le suffixe A4B.

Comment écrit-il ?

Le modèle part d'un canevas de 256 tokens de remplissage, essentiellement du bruit, et le traite intégralement en plusieurs passes. Les tokens pour lesquels il est confiant aident à déterminer les autres, et le texte se « révèle » progressivement, comme une image dans Stable Diffusion. Ici, toutefois, les mots remplacent les pixels.

Si la réponse dépasse 256 tokens, un mode autorégressif par blocs s'active. Le canevas terminé est enregistré dans le cache KV à l'aide d'une attention causale classique, puis un nouveau canevas est créé avec accès à tout ce qui précède. Au sein d'un bloc, l'attention est bidirectionnelle : chaque token peut consulter n'importe quel autre. C'est de là que vient la principale nouveauté, l'autocorrection. Si la confiance associée à un token diminue, l'échantillonneur peut le rebruiter et laisser le modèle le retravailler. Un LLM classique ne sait pas faire cela.

En pratique, le goulot d'étranglement passe de la bande passante mémoire au calcul. Le GPU reçoit enfin un travail réellement parallèle au lieu d'attendre entre les étapes. C'est précisément là que le gain de vitesse est censé apparaître.

Comment le lancer

Le modèle accepte plusieurs modalités en entrée : texte, images de dimensions arbitraires et vidéo, mais pas l'audio. La sortie est toujours textuelle. Ce n'est pas un générateur d'images portant une étiquette de diffusion : la diffusion ne s'applique qu'au texte. Il prend en charge les instructions système et un mode thinking configurable, activé avec le paramètre enable_thinking=True, qui affiche le raisonnement dans un bloc distinct.

Côté matériel, Google recommande pour le modèle complet une carte dotée de plus de 60 Go de mémoire, de classe A100 ou H100. La version quantifiée tient dans 18 Go de VRAM et peut donc fonctionner sur une RTX 4090 ou 5090.

Côté logiciel, transformers 5.11.0 ou une version ultérieure est nécessaire : les versions plus anciennes ne reconnaissent tout simplement pas le modèle. Il faut le charger avec la classe dédiée DiffusionGemmaForBlockDiffusion, et non avec l'habituel AutoModelForCausalLM, car il possède sa propre boucle de débruitage. AutoProcessor remplace le tokenizer puisqu'il traite également les images et les vidéos. TextDiffusionStreamer permet de suivre le processus : il affiche l'état du canevas après chaque étape, montrant comment le texte se forme à partir du bruit.

Pour la production, Google et l'équipe vLLM ont intégré le débruitage itératif au moteur standard. La commande vllm serve prend en charge un contexte long, de 262144 tokens dans l'exemple, tandis que l'échantillonneur se configure au moyen de hf-overrides, avec entropy_bound par exemple.

À quoi peut-il servir ?

Précisons d'emblée qu'il s'agit d'une préversion destinée à la recherche, et non d'un produit finalisé ; Google le dit explicitement. Avant toute utilisation auprès de clients, il convient de consulter la politique d'utilisation autorisée de Gemma. L'article ne fournit aucun chiffre d'accélération réelle : il faudra donc mesurer les gains de latence sur vos propres charges de travail.

Cela vaut néanmoins la peine de l'essayer. Si vous développez des assistants locaux, des pipelines produisant un grand volume de courtes générations, ou si vous suivez simplement l'évolution des architectures de LLM, la diffusion appliquée au texte devient un outil opérationnel pouvant fonctionner sur une seule carte graphique grand public. Commencez avec TextDiffusionStreamer : cinq minutes à observer le débruitage expliquent le mécanisme mieux que n'importe quel article.