MultiMDM: диффузионная языковая модель для генерации текста за несколько шагов

Исследователи представили MultiMDM (multi-mask diffusion model) — диффузионную языковую модель, которая использует несколько масок вместо одной и за счёт этого генерирует текст за небольшое число шагов без потери качества. Препринт опубликован на arXiv в разделе cs.CL в июле 2026 года.

Почему few-step генерация буксует

Обычные masked diffusion models (MDM) плохо работают в режиме few-step, потому что все их прямые траектории схлопываются в одно полностью замаскированное состояние. В этой точке не остаётся «остаточной энтропии», на которую опираются consistency-подходы для генерации за малое число шагов, — модели просто не за что зацепиться.

Альтернатива в виде uniform-state diffusion избегает этого вырождения, но платит другой ценой: там труднее отличать чистые токены от шума. По данным arXiv, это обычно бьёт и по качеству генерации, и по эффективности обучения. MultiMDM решает обе проблемы разом, оставаясь внутри «масочной» парадигмы.

Скорость здесь — не косметика: чем меньше шагов, тем дешевле и быстрее инференс, поэтому few-step-режим — ключ к практичности диффузионных LLM.

Что предлагает MultiMDM

MultiMDM сохраняет структуру маскирования, но вводит набор из нескольких масок вместо единственной. В прямом (forward) процессе каждый чистый токен сначала толкается к своей назначенной маске, а затем постепенно перемешивается по всему набору масок.

Из-за этого обратный (backward) процесс получает способность к «черновику» (drafting): модель сперва предсказывает назначенную маску, а уже потом уточняет её до чистого токена. Именно это двухступенчатое движение и позволяет обходиться малым числом шагов.

В отличие от единственной маски у классических MDM, набор масок оставляет модели «пространство для манёвра» — ту самую остаточную энтропию, которой не хватало для few-step-режима.

• Модель — MultiMDM (multi-mask diffusion model), препринт на arXiv (cs.CL), июль 2026 года
• Ключевая идея — несколько масок вместо одной, чтобы сохранить структуру маскирования для few-step генерации
• Backward-процесс работает в два такта: сначала черновик (предсказание маски), затем уточнение до чистого токена
• Обучение — closed-form ELBO, допускающий continual training поверх уже предобученных MDM
• Дистилляция — чисто discrete-state consistency distillation с shared-Gumbel coupling

Как это обучают

Авторы вывели closed-form ELBO — обучающую цель в замкнутой форме, которая позволяет не тренировать MultiMDM с нуля, а дообучать её поверх уже готовых предобученных MDM. Это заметно снижает стоимость входа: существующие модели становятся отправной точкой.

Второй компонент — чисто discrete-state consistency distillation со связкой shared-Gumbel coupling, которая уменьшает pathwise-энтропию. Дистилляция и нужна для того, чтобы «сжать» многошаговую генерацию в несколько шагов, сохранив качество.

«MultiMDM даёт эффективную основу для принципиальной генерации за

малое число шагов», — говорится в аннотации статьи на arXiv.

Что это значит

Диффузионные языковые модели — главная альтернатива привычным автогрессивным моделям, которые пишут текст строго токен за токеном. Диффузия способна генерировать сразу весь фрагмент и уточнять его за несколько проходов, и MultiMDM — шаг к тому, чтобы делать это быстро и без просадки качества, опираясь на уже обученные модели.

Частые вопросы

Чем MultiMDM отличается от обычных masked diffusion моделей?

MultiMDM использует не одну маску, а целый набор. Это сохраняет «масочную» структуру и даёт обратному процессу способность к черновику — сначала предсказать маску, потом уточнить токен, — чего лишены классические MDM с их единственным полностью замаскированным состоянием.

Нужно ли обучать MultiMDM с нуля?

Нет. По данным arXiv, closed-form ELBO позволяет вести continual training поверх уже предобученных MDM, то есть использовать существующие модели как стартовую точку, а не тренировать новую модель с чистого листа.