MultiMDM: диффузионная языковая модель для генерации текста за несколько шагов

Des chercheurs ont présenté MultiMDM (multi-mask diffusion model) — un modèle de langage de diffusion qui utilise plusieurs masques au lieu d'un seul et, grâce à cela, génère du texte en un petit nombre d'étapes sans perte de qualité. Le préprint a été publié sur arXiv, dans la section cs.CL, en juillet 2026.

Pourquoi la génération few-step cale

Les modèles de diffusion masquée classiques (MDM) fonctionnent mal en régime few-step, car toutes leurs trajectoires directes s'effondrent en un unique état entièrement masqué. À ce point, il ne reste plus d'« entropie résiduelle » sur laquelle les approches de consistency peuvent s'appuyer pour générer du texte en peu d'étapes — le modèle n'a tout simplement plus rien auquel s'accrocher.

L'alternative sous forme de uniform-state diffusion évite cette dégénérescence, mais paie un autre prix : il devient plus difficile de distinguer les tokens propres du bruit. Selon arXiv, cela nuit généralement à la fois à la qualité de la génération et à l'efficacité de l'entraînement. MultiMDM résout les deux problèmes à la fois, tout en restant dans le paradigme « masqué ».

La vitesse ici n'est pas cosmétique : moins il y a d'étapes, plus l'inférence est bon marché et rapide, donc le régime few-step est la clé de la praticité des LLM de diffusion.

Ce que propose MultiMDM

MultiMDM conserve la structure de masquage, mais introduit un ensemble de plusieurs masques au lieu d'un seul. Dans le processus direct (forward), chaque token propre est d'abord poussé vers son masque assigné, puis progressivement mélangé dans l'ensemble des masques.

De ce fait, le processus inverse (backward) acquiert une capacité de « brouillon » (drafting) : le modèle prédit d'abord le masque assigné, puis seulement ensuite l'affine jusqu'au token propre. C'est précisément ce mouvement en deux étapes qui permet de se contenter d'un petit nombre d'étapes.

Contrairement au masque unique des MDM classiques, l'ensemble de masques laisse au modèle une « marge de manœuvre » — cette même entropie résiduelle qui manquait pour le régime few-step.

• Modèle — MultiMDM (multi-mask diffusion model), préprint sur arXiv (cs.CL), juillet 2026
• Idée clé — plusieurs masques au lieu d'un seul, pour préserver la structure de masquage lors de la génération few-step
• Le processus backward fonctionne en deux temps : d'abord un brouillon (prédiction du masque), puis un affinage jusqu'au token propre
• Entraînement — un ELBO en forme close (closed-form), permettant le continual training par-dessus des MDM déjà pré-entraînés
• Distillation — une consistency distillation purement discrete-state avec un couplage shared-Gumbel coupling

Comment cela est entraîné

Les auteurs ont dérivé un ELBO en forme close (closed-form) — un objectif d'entraînement sous forme close qui permet de ne pas entraîner MultiMDM à partir de zéro, mais de le ré-entraîner par-dessus des MDM déjà pré-entraînés. Cela réduit nettement le coût d'entrée : les modèles existants deviennent le point de départ.

Le second composant est une consistency distillation purement discrete-state avec un couplage shared-Gumbel coupling, qui réduit l'entropie pathwise. La distillation sert précisément à « compresser » la génération multi-étapes en quelques étapes, tout en préservant la qualité.

«

MultiMDM fournit une base efficace pour une génération few-step fondée sur des principes », indique le résumé de l'article sur arXiv.

Ce que cela signifie

Les modèles de langage de diffusion sont la principale alternative aux modèles autorégressifs habituels, qui écrivent le texte strictement token par token. La diffusion est capable de générer d'un coup tout le fragment et de l'affiner en plusieurs passes, et MultiMDM est un pas vers le fait de faire cela rapidement et sans perte de qualité, en s'appuyant sur des modèles déjà entraînés.

Questions fréquentes

En quoi

MultiMDM diffère-t-il des modèles de diffusion masquée classiques ?

MultiMDM utilise non pas un seul masque, mais un ensemble entier. Cela préserve la structure « masquée » et donne au processus inverse une capacité de brouillon — prédire d'abord le masque, puis affiner le token —, ce dont sont privés les MDM classiques avec leur unique état entièrement masqué.

Faut-il entraîner MultiMDM à partir de zéro ?

Non. Selon arXiv, l'ELBO en forme close permet de mener un continual training par-dessus des MDM déjà pré-entraînés, c'est-à-dire d'utiliser les modèles existants comme point de départ plutôt que d'entraîner un nouveau modèle à partir d'une feuille blanche.