Google DeepMind lance DiffusionGemma, un LLM à diffusion 4 fois plus rapide que Gemma 4

Google DeepMind a dévoilé DiffusionGemma, un modèle de langage d'un nouveau type qui génère du texte par diffusion plutôt que par l'approche autorégressive classique. Selon l'équipe, le modèle est 4 fois plus rapide que n'importe quel autre modèle de la famille Gemma 4, à qualité comparable.

Comment fonctionne un LLM à diffusion

Les modèles de langage classiques, comme GPT, Llama ou Gemma, génèrent le texte de façon séquentielle : token après token, de gauche à droite. Pour obtenir 500 tokens, il faut 500 étapes d'inférence successives. C'est une limite fondamentale de l'architecture : chaque token dépend de tous les précédents, si bien que le parallélisme est impossible par la nature même de l'autorégression.

L'approche par diffusion fonctionne autrement. L'idée qui sous-tend Stable Diffusion et DALL-E pour les images est désormais appliquée au texte : le modèle apprend à reconstituer le texte d'origine à partir d'un bruit aléatoire, en affinant toute la séquence d'un coup. Il ne procède pas de gauche à droite, mais de façon itérative, en parallèle sur toutes les positions à la fois.

• Autorégression : 500 tokens exigent 500 étapes séquentielles
• Diffusion : 500 tokens sont traités en 10–50 étapes, quelle que soit la longueur
• Le gain de vitesse n'est pas linéaire : plus le texte est long, plus l'avantage se fait sentir

De nombreuses équipes tentent d'appliquer la diffusion à la génération de texte depuis 2021. Le principal obstacle était la qualité : les modèles de texte à diffusion sont longtemps restés en retrait par rapport aux modèles autorégressifs, et leurs textes perdaient en cohérence et en précision de formulation. À en juger par la déclaration de Hassabis, DiffusionGemma a franchi cet obstacle.

Demis Hassabis l'a annoncé lui-même

C'est le CEO de Google DeepMind en personne qui a annoncé le résultat, ce qui est inhabituel. Les dirigeants de ce niveau promeuvent généralement des produits entiers ou des orientations stratégiques, mais mettent rarement en avant un choix d'architecture précis pour féliciter une équipe. Hassabis a personnellement félicité le chercheur Brian O'Donoghue et toute l'équipe, qualifiant la réalisation de « foudroyante ».

« Belle innovation en matière de diffusion de texte.

DiffusionGemma est foudroyante : 4 fois plus rapide que les autres modèles Gemma 4. Hâte de voir ce que les gens vont construire avec ! » — Demis Hassabis

Contexte important : la comparaison ne porte pas sur des benchmarks dépassés, mais sur la famille Gemma 4 actuelle, déjà considérée comme l'une des plus efficaces parmi les modèles ouverts de sa catégorie. Un gain de quatre fois par rapport à une telle base est un résultat architectural de poids.

L'économie de l'inférence évolue

La vitesse de génération détermine à la fois le coût de l'API et la latence du produit final. Si DiffusionGemma génère 4 fois plus vite à qualité comparable, cela ouvre plusieurs possibilités pratiques :

• Baisse du coût d'inférence : moins de temps GPU par réponse
• Contextes longs sans explosion exponentielle des délais
• Compétitivité dans les scénarios sensibles à la latence : chatbots, autocomplétion, pipelines agentiques
• Potentiel d'unification avec la génération d'images et d'audio par diffusion

La synergie multimodale est particulièrement intéressante : en combinant la diffusion de texte avec les approches déjà matures pour l'image et le son, on obtient une architecture unique qui traite toutes les modalités selon un même principe. Google avance déjà dans cette direction avec la série Gemini, et DiffusionGemma ressemble à un premier pas vers une véritable multimodalité par diffusion.

Ce que cela signifie

Les LLM à diffusion ne sont plus une expérience académique. Quand le CEO de l'un des plus grands laboratoires d'IA au monde annonce lui-même une percée architecturale, le marché réagit. Si les chiffres de vitesse de DiffusionGemma sont confirmés par des tests indépendants, ils pourraient modifier la tarification du marché de l'inférence de LLM et pousser les concurrents à accélérer leurs propres projets de diffusion. Les développeurs qui n'ont pas encore étudié cette architecture feraient bien de s'y mettre dès maintenant.