Seq-Drifting генерирует текст за один проход: perplexity 36,01 на LM1B

Диффузионные языковые модели генерируют токены параллельно, но качественный текст всё равно требует многих шагов сэмплирования. Авторы Seq-Drifting пробуют убрать эти шаги совсем: их генератор берёт гауссов шум и за один прямой проход выдаёт всю последовательность целиком. На бенчмарке LM1B такой одношаговый режим даёт generative perplexity 36,01. Препринт вышел на arXiv (2610.12879), код опубликован на GitHub.

Как устроено поле дрейфа

В обычных диффузионных LM обучающий сигнал для каждой позиции берётся напрямую из токена, который стоит там в тренировочной последовательности. Модель учится восстанавливать конкретный слой данных, и качество приходит через итерации: каждый шаг уточняет предыдущий.

Seq-Drifting действует иначе. Метод применяет drifting к последовательностям непрерывных представлений токенов и напрямую учит отображение из шума в текст. Для этого строится поле дрейфа, где позиционные цели зависят от текущего сгенерированного контекста, а не заданы заранее одним эталонным токеном. На каждой позиции работают две силы. Притяжение направляет выход к набору контекстуально правдоподобных представлений токенов. Отталкивание решает две проблемы сразу: не даёт образцам схлопнуться друг в друга и подавляет повторы внутри одной последовательности.

Поле нужно только на обучении. На инференсе генератор не обращается ни к каким итерациям и выдаёт все токены совместно за один проход.

Что показали эксперименты

Основной результат относится к LM1B, где одношаговая генерация достигает generative perplexity 36,01. По словам авторов, модель конкурентна и в безусловной, и в условной генерации. Отдельно проверили, работает ли подход за пределами свободного письма: эксперименты охватывают перевод, суммаризацию и задачи на рассуждение.

Ключевые параметры работы:

• Режим инференса: один прямой проход, все токены параллельно.
• Вход генератора: гауссов шум, выход: последовательность непрерывных представлений токенов.
• Обучающий сигнал: поле дрейфа с притяжением к правдоподобным токенам и отталкиванием от коллапса и повторов.
• Метрика: generative perplexity 36,01 на LM1B.
• Задачи: безусловная и условная генерация, перевод, суммаризация, рассуждения.

Из аннотации не видно нескольких важных вещей. Нет сравнения с многошаговыми диффузионными базлайнами в цифрах, нет замеров задержки и не указано, какой моделью считалась perplexity. Generative perplexity вообще чувствительна к выбору оценивающей модели и сама по себе не показывает разнообразие текста. Эти детали придётся смотреть в полной статье.

Кому это пригодится

Главный практический интерес здесь в стоимости инференса. Если качество диффузионной LM определяется числом шагов, то каждый шаг умножает затраты на обращение к модели. Одношаговый генератор снимает этот множитель в принципе, и для задач вроде перевода или суммаризации с жёсткими требованиями к задержке это серьёзный аргумент.

Пока это исследовательский результат. LM1B состоит из коротких предложений, а проверка на длинных контекстах, больших моделях и инструкционных задачах впереди. Тем, кто работает с диффузионными LM, стоит запустить открытый репозиторий и проверить три вещи: как качество меняется с длиной последовательности, сохраняется ли разнообразие при одном проходе и насколько результат зависит от параметров отталкивания. Если ответы окажутся благоприятными, Seq-Drifting станет заметным аргументом в споре о том, нужны ли языковым моделям итерации вообще.