Параллельный спекулятивный декодинг ускорил SGLang до 4 раз и вышел в open source

Если вы запускаете LLM в продакшене, то наверняка уже слышали про спекулятивное декодирование. Идея простая: маленькая «черновая» модель быстро угадывает несколько токенов вперёд, а большая модель проверяет их одним проходом. Если догадки верны, вы получаете сразу несколько токенов по цене одного шага, а качество ответа не меняется. Именно поэтому метод стал почти стандартом в промышленных inference-стеках. Теперь появилась работа, которая двигает его дальше: параллельный черновик с сохранением причинных зависимостей. Заявлено ускорение пропускной способности в SGLang до 4 раз, а код выложен в открытый доступ.

В чём проблема EAGLE-3

EAGLE-3 считается одним из самых сильных вариантов спекулятивного декодирования. Его черновик авторегрессионный: чтобы угадать пятый токен, нужно сначала угадать четвёртый, и так по цепочке. Предсказывает он точно, но платит за это временем. Каждый дополнительный токен в черновике означает ещё один последовательный прямой проход. Получается знакомая ловушка: хотите угадывать дальше, а черновик сам начинает тормозить и съедает выигрыш.

Представьте конвейер, где каждый рабочий ждёт, пока предыдущий закончит. Добавлять рабочих бессмысленно, скорость определяет длина цепочки.

Что предложили вместо цепочки

Предыдущий шаг к решению сделал DFlash. Он вдохновлён диффузионными языковыми моделями и генерирует весь черновик параллельно: один проход по骨干-сети выдаёт сразу блок токенов. Задержка перестаёт расти вместе с длиной черновика. Но у полной параллельности есть цена: токены в блоке угадываются почти независимо друг от друга, а в языке следующее слово сильно зависит от предыдущего. Из-за этого доля принятых проверяющей моделью токенов может падать.

Новая работа, судя по заголовку, решает именно это противоречие. Причинные зависимости между токенами черновика встроены в глубину самой драфт-сети: вместо последовательных шагов по времени зависимость «кодируется» слоями, через которые проходит один и тот же параллельный проход. Говоря проще, порядок учитывается внутри одного прохода, а не за счёт нескольких проходов подряд. Так черновик остаётся быстрым, как у параллельных схем, и ближе по точности к авторегрессионным.

Конкретные детали архитектуры, размеры моделей и полные таблицы замеров лучше смотреть в статье и репозитории. Цифра «до 4 раз» относится к пропускной способности в SGLang и, как всегда с «до», описывает лучший из сценариев, а не типичный.

Что с этим делать на практике

Первое: если вы используете SGLang и уже включили спекулятивное декодирование, имеет смысл запустить новый метод на своём трафике. Выигрыш сильно зависит от модели, длины ответов, размера батча и доли токенов, которые проверяющая модель принимает. На коротких ответах или при больших батчах эффект может быть заметно скромнее, чем в заголовке.

Второе: смотрите не только на токены в секунду. Важны задержка первого токена, поведение под высокой нагрузкой и расход видеопамяти на драфт-сеть. Лишняя память под черновик может отнять место у KV-кэша и сократить число одновременных запросов.

Третье: для обучения драфт-сети нужны данные и вычисления. Если вы дообучаете или меняете базовую модель, черновик придётся обучать заново, иначе доля принятых токенов упадёт. Закладывайте это в стоимость внедрения.

Ограничения и вывод

Пока это результат из одной публикации, и независимых воспроизведений мало. Метод привязан к конкретному стеку, а перенос на vLLM, TensorRT-LLM или собственные ядра потребует работы. Однако направление понятное: гонка идёт не за более умной базовой моделью, а за тем, чтобы тратить меньше последовательных шагов на каждый токен. Для команд, у которых счёт за GPU стал главной статьёй расходов, открытый код с заявленным кратным приростом стоит проверить в ближайший спринт: достаточно сравнить пропускную способность и долю принятых токенов на реальных запросах до и после.