Stanford и Together AI научили LLM писать текст с плана: генерация быстрее до 31 раза

Команда из Stanford и Together AI предложила способ генерации текста, который не укладывается ни в авторегрессию, ни в диффузию. Модель сначала набрасывает «оглавление» ответа, а потом шаг за шагом наполняет его деталями. По заявлению авторов, такой подход даёт ускорение до 31 раза. Об этом сообщило китайское издание Jiqizhixin.

Откуда взялась идея

Основа метода — VAR (Visual Autoregressive Modeling), работа, получившая награду как лучшая статья NeurIPS 2024. В генерации изображений VAR отказался от классического обхода картинки по пикселям или токенам. Вместо этого модель предсказывает «следующий масштаб»: сначала очень грубую версию кадра, затем всё более детальные. Каждый шаг уточняет предыдущий, а внутри одного масштаба токены можно считать параллельно.

Стэнфордские исследователи и инженеры Together AI перенесли этот принцип на текст. Если коротко, речь идёт о генерации «сверху вниз»: сначала структура и ключевые смыслы, потом конкретные слова.

Чем это отличается от привычных схем

Сегодняшние LLM пишут слева направо, токен за токеном. Каждое следующее слово зависит от всех предыдущих, и это серьёзно ограничивает скорость: за один проход получается один токен, сколько бы GPU ни стояло в стойке. Диффузионные языковые модели пытаются обойти ограничение. Они стартуют с «шума» или маскированного текста и итеративно проясняют его целиком. Но у этого пути свои проблемы с качеством и с управлением длиной ответа.

Третий вариант, который описывают авторы, берёт от обеих схем разное. Как и в авторегрессии, у процесса есть чёткий порядок, только он идёт по уровням детализации, а не по позициям в строке. Как и в диффузии, на каждом шаге обновляется сразу много токенов. Отсюда и заявленный выигрыш в скорости.

Участие Together AI здесь показательно. Компания зарабатывает на инференсе открытых моделей, и для неё каждый сэкономленный проход по модели превращается в деньги. Ускорение генерации сегодня упирается не в количество FLOPS, а в последовательную природу декодирования.

Ключевые параметры

• Авторы: Stanford University и Together AI
• Исходная идея: «предсказание следующего масштаба» из VAR (NeurIPS 2024, лучшая статья)
• Принцип: сначала план или грубый набросок текста, затем уточнение по уровням
• Заявленное ускорение: до 31x
• Позиционирование: третья парадигма наряду с авторегрессией и диффузией

Чего в сообщении не хватает

По доступному фрагменту публикации неясны несколько вещей, от которых зависит вся оценка. Не названа базовая линия, с которой сравнивали 31-кратный выигрыш. Одно дело сравнение с обычным токен-за-токеном без оптимизаций, другое с современным инференсом на спекулятивном декодировании и батчинге. Нет данных о размере моделей, длине текстов и качестве на стандартных бенчмарках. Цифру «до 31 раза» стоит читать как лучший случай, а не как типичный.

Есть и архитектурный вопрос. В изображении масштабы устроены естественно: уменьшенная версия картинки остаётся картинкой. У текста «грубого разрешения» нет, и то, как авторы определяют уровни плана, — главный предмет проверки.

Что проверять практикам

Пока это исследовательская работа, а не продукт, и закладываться на неё в продакшене рано. Но следить стоит. Когда выйдет статья с кодом, имеет смысл посмотреть на три вещи: качество на задачах с длинным рассуждением и кодом, где ошибка в плане портит всё остальное; стабильность следования инструкциям; и реальное ускорение на тех же GPU при сопоставимом качестве. Если выигрыш сохранится на ответах в тысячи токенов, это даст инженерам новый рычаг помимо квантизации и спекулятивного декодирования. Если нет, останется любопытный эксперимент о том, что идеи из компьютерного зрения неплохо переезжают в язык.