Lafa на 8B параметров ускоряет генерацию текста в 2,54 раза без потери качества

Исследователи представили Lafa (Large flow language model): языковую модель на 8 млрд параметров, которая генерирует текст блоками через непрерывный flow. Обучение уложилось меньше чем в 30 млрд токенов. В режиме самоспекулятивного декодирования Lafa дает 2,54x пропускной способности авторегрессионной модели при сопоставимом качестве. Работа попала в Hugging Face Daily Papers.

Как устроена Lafa

Авторы исходят из того, что непрерывные flow-модели для текста дают инструменты контроля и ускорения, недоступные дискретной диффузии. Проблема в масштабе: рабочих рецептов для моделей с миллиардами параметров пока мало. Lafa закрывает этот пробел.

Архитектура блочная. Префикс обрабатывается с каузальным вниманием, как в обычной авторегрессионной модели. Внутри каждого блока работает двунаправленный асинхронный flow, и токены блока формируются параллельно. Такая схема дает две практические вещи. Во-первых, Lafa можно получить адаптацией уже предобученных AR-моделей, не начиная с нуля. Во-вторых, на инференсе сохраняются prefix caching и блочное параллельное декодирование.

Главные цифры из аннотации:

• Масштабы: 0,5B, 7B и 8B параметров.
• Данные: менее 30B токенов на обучение, эффективнее прежних диффузионных моделей.
• Задачи: следование инструкциям, рассуждения, кодинг. Качество на уровне AR или выше.
• Дистилляция: выученный flow сжимается во flow maps для генерации за один или несколько шагов.
• Скорость: 2,54x пропускной способности AR при сопоставимом качестве.
• Сравнение: схема опережает multi-token prediction и методы дискретной диффузии.

Побочный эффект, который сделали механизмом

Наиболее интересное наблюдение касается самой тренировки. Flow-обучение не ломает способности предобученной AR-модели, а местами улучшает их. Авторы объясняют это эффектом multi-token prediction: модель учится смотреть вперед на несколько токенов сразу.

Этот эффект они превратили в ускорение. Flow-часть быстро строит черновик блока, затем та же модель проверяет его авторегрессионно. Классическое спекулятивное декодирование обычно требует отдельной маленькой draft-модели или дополнительных голов. Здесь черновик и верификация живут в одних весах. Это упрощает деплой: меньше артефактов, меньше рассинхрона между моделями, один набор весов в памяти.

Проверка авторегрессионной частью удерживает качество около уровня AR, а параллельный черновик убирает часть последовательных шагов. Итог по замерам авторов: 2,54x к пропускной способности.

Чего в аннотации нет и что проверять

По краткому описанию не видно нескольких вещей: какие именно AR-модели адаптировали, какой размер блока выбран, на каких бенчмарках и на каком железе мерили throughput. Нет и данных о поведении при больших батчах, где декодирование упирается в память, а не в вычисления. Без этого цифру 2,54x стоит читать как результат конкретной конфигурации, а не универсальный множитель.

Для инференс-команд ориентиры такие. Если ускорение подтвердится на реальном трафике, тот же поток запросов обслуживается меньшим числом GPU. Это особенно важно для кодинговых агентов, где длинные ответы и много последовательных вызовов делают латентность узким местом. Для исследователей интерес в другом: адаптация готовой AR-модели менее чем на 30B токенов дешевле, чем обучать диффузионную модель с нуля. Тем, кто следит за темой, нужно смотреть в полной статье три вещи: размер блока, условия замера скорости и качество дистиллированных one-step и few-step вариантов. От ответов на них зависит, станут ли непрерывные flow-модели рабочей альтернативой авторегрессии или останутся исследовательским направлением.