MultiMDM: диффузионная языковая модель для генерации текста за несколько шагов

Los investigadores presentaron MultiMDM (multi-mask diffusion model), un modelo de lenguaje de difusión que utiliza varias máscaras en lugar de una sola y, gracias a ello, genera texto en un número reducido de pasos sin pérdida de calidad. El preprint se publicó en arXiv, en la sección cs.CL, en julio de 2026.

Por qué la generación few-step se atasca

Los modelos de difusión enmascarada habituales (MDM) funcionan mal en el régimen few-step, porque todas sus trayectorias directas colapsan en un único estado completamente enmascarado. En ese punto no queda "entropía residual" en la que puedan apoyarse los enfoques de consistencia para generar texto en pocos pasos: al modelo simplemente no le queda de qué agarrarse.

La alternativa en forma de uniform-state diffusion evita esta degeneración, pero paga otro precio: ahí resulta más difícil distinguir los tokens limpios del ruido. Según arXiv, esto suele perjudicar tanto la calidad de la generación como la eficiencia del entrenamiento. MultiMDM resuelve ambos problemas a la vez, sin salir del paradigma "enmascarado".

La velocidad aquí no es algo cosmético: cuantos menos pasos, más barata y rápida la inferencia, por lo que el régimen few-step es la clave para la practicidad de los LLM de difusión.

Qué propone MultiMDM

MultiMDM conserva la estructura de enmascaramiento, pero introduce un conjunto de varias máscaras en lugar de una única. En el proceso directo (forward), cada token limpio primero se empuja hacia su máscara asignada y luego se mezcla gradualmente en todo el conjunto de máscaras.

Debido a esto, el proceso inverso (backward) adquiere la capacidad de "borrador" (drafting): el modelo primero predice la máscara asignada y solo después la refina hasta el token limpio. Es precisamente este movimiento en dos etapas lo que permite arreglárselas con un número reducido de pasos.

A diferencia de la máscara única de los MDM clásicos, el conjunto de máscaras deja al modelo "espacio de maniobra": esa misma entropía residual que faltaba para el régimen few-step.

• Modelo — MultiMDM (multi-mask diffusion model), preprint en arXiv (cs.CL), julio de 2026
• Idea clave — varias máscaras en lugar de una, para conservar la estructura de enmascaramiento en la generación few-step
• El proceso backward funciona en dos tiempos: primero un borrador (predicción de la máscara), luego el refinamiento hasta el token limpio
• Entrenamiento — ELBO en forma cerrada (closed-form), que permite el continual training sobre MDM ya preentrenados
• Destilación — consistency distillation puramente discrete-state con shared-Gumbel coupling

Cómo se entrena

Los autores dedujeron un ELBO en forma cerrada (closed-form): un objetivo de entrenamiento en forma cerrada que permite no entrenar MultiMDM desde cero, sino continuar su entrenamiento sobre MDM ya preentrenados. Esto reduce notablemente el costo de entrada: los modelos existentes se convierten en el punto de partida.

El segundo componente es una consistency distillation puramente discrete-state con un acoplamiento shared-Gumbel coupling, que reduce la entropía pathwise. La destilación es necesaria precisamente para "comprimir" la generación de muchos pasos en unos pocos, conservando la calidad.

"MultiMDM ofrece una base eficiente para la generación few-step basada

en principios", se afirma en el resumen del artículo en arXiv.

Qué significa esto

Los modelos de lenguaje de difusión son la principal alternativa a los modelos autorregresivos habituales, que escriben el texto estrictamente token a token. La difusión es capaz de generar de una vez todo el fragmento y refinarlo en varias pasadas, y MultiMDM es un paso hacia hacer esto rápido y sin pérdida de calidad, apoyándose en modelos ya entrenados.

Preguntas frecuentes

¿En qué se diferencia

MultiMDM de los modelos de difusión enmascarada habituales?

MultiMDM utiliza no una sola máscara, sino un conjunto completo. Esto conserva la estructura "enmascarada" y le da al proceso inverso la capacidad de borrador: primero predecir la máscara, luego refinar el token, algo de lo que carecen los MDM clásicos con su único estado completamente enmascarado.

¿Es necesario entrenar MultiMDM desde cero?

No. Según arXiv, el ELBO en forma cerrada permite realizar continual training sobre MDM ya preentrenados, es decir, usar los modelos existentes como punto de partida en lugar de entrenar un modelo nuevo desde cero.