Google DeepMind ouvre DiffusionGemma, un modèle MoE de 26B qui génère du texte jusqu'à 4 fois plus vite

Google DeepMind a publié DiffusionGemma, un modèle de langage ouvert et expérimental de 26 milliards de paramètres qui utilise la diffusion de texte au lieu de la génération autorégressive classique. Sur GPU, il tourne jusqu'à quatre fois plus vite que les approches standard.

Qu'est-ce que la diffusion de texte

La plupart des modèles de langage actuels génèrent le texte token par token, de gauche à droite. C'est ainsi que fonctionnent GPT-4, Gemini, Llama et pratiquement tous les grands LLM. La méthode est fiable et bien connue, mais elle a une limite fondamentale : le temps d'inférence croît linéairement avec la longueur de la réponse. Plus le texte est long, plus l'attente s'allonge et plus les coûts GPU grimpent.

DiffusionGemma fonctionne autrement. Le modèle part d'une sortie bruitée ou masquée et l'affine de manière itérative jusqu'à obtenir un texte cohérent, à la manière des modèles de diffusion comme Stable Diffusion pour les images. La différence clé avec l'autorégression tient au parallélisme : au lieu d'une séquence stricte, le décodeur de diffusion peut travailler sur l'ensemble du contexte à la fois. C'est ce qui procure un gain de vitesse multiplié sur les GPU modernes.

La diffusion de texte fait l'objet de recherches depuis plusieurs années, mais il n'existait pratiquement pas, jusqu'ici, de modèles ouverts de cette classe à grande échelle. DiffusionGemma est l'une des premières expériences publiques sérieuses de cette ampleur menées par un grand laboratoire, et cela suffit à retenir l'attention.

Architecture : 26B avec MoE

DiffusionGemma repose sur une architecture Mixture of Experts (MoE). Contrairement aux modèles « denses », où tous les paramètres sont sollicités à chaque requête, le MoE n'active qu'un sous-ensemble de blocs d'experts, selon les données d'entrée. Cela permet d'avoir un grand nombre de paramètres pour un coût de calcul d'inférence relativement faible.

Caractéristiques clés du modèle :

• 26B paramètres au total (architecture MoE)
• Seule une partie des paramètres est activée pendant l'inférence
• Diffusion de texte au lieu de l'autorégression
• Jusqu'à 4× d'accélération de la génération sur GPU
• Accès ouvert pour les chercheurs
• Statut expérimental : ce n'est pas une sortie produit

Associer MoE et diffusion est un pari architectural non trivial. Le MoE allège la charge via le nombre de paramètres activés, la diffusion via le nombre d'étapes de génération. En théorie, les deux gains se cumulent.

Pourquoi cela rebat les cartes

La vitesse d'inférence est l'un des principaux problèmes pratiques des grands modèles de langage. Pour l'utilisateur final, une réponse longue est agaçante. Pour les fournisseurs d'inférence, ce sont des dépenses directes en temps GPU, qui pèsent directement sur le coût du service.

Les solutions actuelles, comme la quantification, le speculative decoding et les noyaux optimisés, apportent des gains de l'ordre de 1.5–2×. DiffusionGemma annonce 4×, grâce à un mécanisme de génération radicalement différent. Si ce résultat se reproduit en conditions réelles, il s'agirait d'un changement d'approche et non d'une simple optimisation.

Google DeepMind publie le modèle en accès ouvert comme artefact de recherche. La communauté académique peut ainsi étudier un décodeur de texte par diffusion à l'échelle de 26B. La question d'une version produit fondée sur cette architecture reste pour l'instant ouverte.

Ce que cela signifie

DiffusionGemma indique que l'autorégression cesse d'être le seul paradigme viable de la modélisation du langage. Si l'approche par diffusion passe à l'échelle sans dégrader la qualité, la vitesse de réponse des outils d'IA pourrait être multipliée, sans hausse proportionnelle des coûts d'infrastructure.

Il faudra suivre ces prochains mois la façon dont la communauté étudie le modèle et le soumet à des benchmarks.