Диффузионные LLM тратят втрое больше проходов на рассказ, чем на грамматику

Диффузионные языковые модели привлекают тем, что выдают несколько токенов за один прямой проход и могут писать быстрее авторегрессионных. Новый анализ двух таких моделей на 10 задачах показывает, что скорость у них плавающая. В DiffusionGemma токен для сочинения рассказа требует более чем втрое больше проходов, чем токен для исправления грамматики. Два ответа одинаковой длины в токенах могут стоить совершенно разных вычислений.

Почему копировать дешевле, чем сочинять

Механика такая: диффузионная модель в процессе генерации сама решает, сколько проходов потратить. Если часть текста уже понятна, она фиксирует много токенов сразу. Если нет, делает больше итераций и уточняет.

Авторы сравнили стоимость по задачам и увидели чёткую картину. Текст, скопированный из входа или слегка отредактированный, обходится дёшево. Открытое письмо стоит дорого. Грамматическая коррекция почти целиком состоит из уже известного материала, а рассказ приходится придумывать с нуля.

Разрыв объясняют два свойства выходного текста:

• доля нового материала относительно входа;
• редкость слов внутри конкретной задачи.

Чем больше в ответе нового и необычного, тем больше проходов модель тратит на каждый токен.

Та же логика работает внутри одного ответа, если модель сначала рассуждает. Когда финальный ответ повторяет собственную цепочку рассуждений, он дешёвый. Когда добавляет что-то новое, цена растёт. Получается, что вычислительное преимущество диффузии зависит от того, какая часть вывода уже определена.

Налог на токенизацию в многоязычной генерации

Отдельный результат касается языков. Те из них, которые токенизатор дробит на много кусков, требуют больше проходов на токен. Им и без того приходится платить больше за сам объём: текст на таком языке содержит больше токенов. Выходит двойная нагрузка, и разница в стоимости обслуживания между языками оказывается ещё больше, чем кажется по длине последовательностей.

Для компаний, которые продают одну модель на десятки рынков, это практически значимо. Подсчёт по числу токенов недооценивает реальную стоимость для сильно токенизируемых языков, если инференс построен на диффузии.

Скорость декодирования как сигнал правильности

Самая прикладная часть работы связана с качеством. На одной и той же математической задаче неверные ответы требуют больше проходов на токен, чем верные. Модель как будто «мнётся» там, где она не уверена.

Авторы использовали это как сигнал: кандидатов на ответ взвешивали по скорости декодирования. Такой подход обошёл простое голосование большинством до 4,2 пункта. Дополнительных вычислений он не требует, потому что число проходов известно в ходе обычной генерации.

Ключевые метрики исследования:

• модели: две диффузионные, включая DiffusionGemma;
• набор: 10 задач;
• рассказ против исправления грамматики: более чем в 3 раза больше проходов на токен;
• факторы стоимости: новизна относительно входа и редкость слов в задаче;
• выигрыш взвешивания по скорости над majority voting: до 4,2 пункта без дополнительных затрат.

Что менять в инференсе и планировании

Первое: бюджетировать диффузионный инференс по длине вывода нельзя. Нужно оценивать тип задачи. Правка, перефразирование, форматирование и извлечение структурированных данных из входа попадают в дешёвую зону. Генерация длинных креативных текстов попадает в дорогую, и сервис с широким профилем нагрузки получит большой разброс задержек и затрат.

Второе: число проходов можно логировать как телеметрию. Всплеск на конкретном запросе указывает на высокий риск ошибки, и такие ответы разумно отправлять на перепроверку, повторную выборку или к человеку. Для задач с самосогласованностью, где генерируют несколько кандидатов, взвешивание по скорости даёт прирост без дополнительной цены.

Третье: при расчёте цены для мультиязычных продуктов нужно учитывать оба эффекта, число токенов и число проходов на токен. Иначе языки с тяжёлой токенизацией окажутся незаметно убыточными.

Ограничение исследования понятное: речь о двух моделях и 10 задачах. Но направление ясное. Диффузионные LLM выигрывают там, где значительная часть ответа предсказуема, а сам процесс декодирования несёт информацию, которую пока почти никто не использует.