Omni-Diffusion-Distill ускоряет мультимодальную dLLM в 18 раз: 8 шагов вместо 128

Авторы препринта на arXiv представили Omni-Diffusion-Distill, двухэтапный метод дистилляции унифицированных мультимодальных диффузионных языковых моделей. Он сокращает генерацию изображений со 128 до 8 шагов декодирования, а мультимодальное понимание с 512 до 64. По времени работы это даёт ускорение в 18,2 и 21,2 раза. Ученик набирает 0,828 на GenEval и 83,0 на DPG-Bench в text-to-image, а в задачах понимания получает 20,0 по GPT-оценке на MM-Vet.

Почему унифицированные dLLM медленные

Унифицированная мультимодальная dLLM заменяет связку из отдельной модели для картинок и отдельной модели для понимания одной архитектурой. Всё работает в дискретном пространстве токенов: и текст, и изображения. Платить приходится итеративным декодированием. Модель постепенно уточняет маску токенов, и на один ответ уходят десятки или сотни прямых проходов.

Существующие методы few-step дистилляции заточены под что-то одно: либо под генерацию изображений, либо под генерацию текста. Как сжать полностью дискретную мультимодальную dLLM в одного студента, сохранив и генерацию, и понимание, оставалось открытым вопросом. На него и отвечает работа.

Как устроена дистилляция

На первом этапе студент учится пропускать шаги декодирования. Для этого он воспроизводит кэшированные траектории учителя. На втором этапе его дообучают на промежуточных состояниях, взятых из его собственных прогонов. Так он видит те ошибки, которые действительно делает при коротком декодировании, а не только идеальные траектории учителя.

Авторы отдельно лечат два источника деградации, которые возникают именно в унифицированной постановке:

• Парный штраф за коллизии (pairwise collision penalty) снижает повторы при параллельном декодировании текста. Когда модель выбирает несколько токенов за один шаг, она склонна выдавать одно и то же.
• Энтропийно согласованный guidance предотвращает коллапс энтропии. Он возникает, когда студент подгоняется под «заострённое» распределение учителя при генерации изображений.

Цифры из статьи

• Генерация изображений: 128 → 8 шагов, ускорение 18,2x.
• Мультимодальное понимание: 512 → 64 шага, ускорение 21,2x.
• GenEval: 0,828; DPG-Bench: 83,0.
• MM-Vet (GPT-оценка): 20,0.
• COCO captioning: 57,2, вдвое больше, чем 28,4 у учителя при том же числе шагов.

Есть деталь, на которую стоит обратить внимание. Выигрыш по времени (18,2x и 21,2x) выше, чем сокращение числа шагов (16x и 8x). В аннотации причина не объясняется. Возможно, дело в стоимости одного шага или в упрощении guidance, но это лишь предположение, и ответ нужно искать в полном тексте работы. Сравнение с учителем на COCO при равном бюджете шагов тоже показывает, что при агрессивном сокращении шагов обычная dLLM заметно теряет в качестве, а дистиллированная держится.

Где это пригодится

Для тех, кто строит мультимодальные продукты на диффузионных LLM, главный вывод практический: задержка перестаёт быть аргументом против этого класса моделей. Восемь шагов на картинку и 64 на понимание уже ближе к интерактивным сценариям, чем сотни проходов. Выигрывают прежде всего приложения, где одна модель должна и рисовать, и описывать: ассистенты, редакторы изображений, инструменты для e-commerce.

Оговорки стандартные для препринта. Результаты не прошли рецензирование и измерены самими авторами на выбранных бенчмарках. Абсолютные значения на MM-Vet остаются скромными. Об открытии кода и весов в аннотации ничего не сказано. Прежде чем закладывать метод в продакшен, нужно дождаться воспроизведения на других моделях и проверки на реальных нагрузках.