MultiMDM: un modelo de lenguaje por difusión que genera texto en pocos pasos

Un grupo de investigadores ha presentado MultiMDM (multi-mask diffusion model), un modelo de lenguaje por difusión que utiliza varias máscaras en lugar de una y, gracias a ello, genera texto en pocos pasos sin perder calidad. El preprint se publicó en arXiv, en la sección cs.CL, en julio de 2026.

Por qué la generación few-step se atasca

Los modelos de difusión enmascarada (masked diffusion models, MDM) convencionales funcionan mal en modo few-step porque todas sus trayectorias directas colapsan en un único estado totalmente enmascarado. En ese punto no queda "entropía residual", en la que se apoyan los enfoques de consistencia (consistency) para generar en pocos pasos: el modelo se queda sin nada a lo que agarrarse.

La alternativa, la difusión de estado uniforme (uniform-state diffusion), evita esa degeneración, pero tiene otro coste: resulta más difícil distinguir los tokens limpios del ruido. Según arXiv, esto suele perjudicar tanto la calidad de la generación como la eficiencia del entrenamiento. MultiMDM aborda ambos problemas a la vez sin salir del paradigma de las máscaras.

La velocidad no es aquí un asunto cosmético: cuantos menos pasos, más barata y rápida es la inferencia, por lo que el modo few-step es clave para que los LLM de difusión sean prácticos.

Qué propone MultiMDM

MultiMDM conserva la estructura de enmascaramiento, pero introduce un conjunto de varias máscaras en lugar de una sola. En el proceso directo (forward), cada token limpio es empujado primero hacia su máscara asignada y después se va mezclando gradualmente con todo el conjunto de máscaras.

Gracias a ello, el proceso inverso (backward) adquiere una capacidad de "borrador" (drafting): el modelo predice primero la máscara asignada y solo después la refina hasta obtener el token limpio. Este movimiento en dos etapas es lo que permite arreglárselas con pocos pasos.

Frente a la máscara única de los MDM clásicos, el conjunto de máscaras deja al modelo un "margen de maniobra": precisamente la entropía residual que faltaba para el modo few-step.

• Modelo: MultiMDM (multi-mask diffusion model), preprint en arXiv (cs.CL), julio de 2026
• Idea clave: varias máscaras en lugar de una, para conservar la estructura de enmascaramiento en la generación few-step
• El proceso backward funciona en dos tiempos: primero el borrador (predicción de la máscara) y luego el refinamiento hasta el token limpio
• Entrenamiento: ELBO en forma cerrada, que permite el continual training sobre MDM ya preentrenados
• Destilación: consistency distillation puramente de estado discreto con shared-Gumbel coupling

Cómo se entrena

Los autores derivaron un ELBO en forma cerrada, un objetivo de entrenamiento que permite no entrenar MultiMDM desde cero, sino seguir entrenándolo a partir de MDM ya preentrenados. Esto reduce de forma notable el coste de entrada: los modelos existentes pasan a ser el punto de partida.

El segundo componente es una consistency distillation puramente de estado discreto, combinada con shared-Gumbel coupling, que reduce la entropía pathwise. La destilación sirve precisamente para "comprimir" la generación en muchos pasos a unos pocos, manteniendo la calidad.

«MultiMDM proporciona una base eficaz para una generación en pocos

pasos con fundamentos sólidos», señala el resumen del artículo en arXiv.

Qué significa

Los modelos de lenguaje por difusión son la principal alternativa a los modelos autorregresivos habituales, que escriben el texto estrictamente token a token. La difusión puede generar un fragmento entero de una vez y refinarlo en varias pasadas. MultiMDM es un paso para hacerlo con rapidez y sin pérdida de calidad, apoyándose en modelos ya entrenados.

Preguntas frecuentes

¿En qué se diferencia

MultiMDM de los modelos de difusión enmascarada convencionales?

MultiMDM no usa una máscara, sino un conjunto entero. Esto conserva la estructura de enmascaramiento y dota al proceso inverso de capacidad de borrador (primero predecir la máscara y luego refinar el token), algo de lo que carecen los MDM clásicos, con su único estado totalmente enmascarado.

¿Hay que entrenar MultiMDM desde cero?

No. Según arXiv, el ELBO en forma cerrada permite hacer continual training sobre MDM ya preentrenados, es decir, usar los modelos existentes como punto de partida en lugar de entrenar un modelo nuevo desde cero.