DCOCO ускоряет инференс LLM до 6,6x и обгоняет конкурентов на 6–23%

Исследователи опубликовали на arXiv метод DCOCO (DFlash Contextual Corrector), который закрывает главную слабость диффузионных драфтеров в спекулятивном декодировании. Это лёгкий корректор, сохраняющий параллельную генерацию черновика и возвращающий в блок зависимости между токенами. На четырёх верифицирующих моделях и десяти бенчмарках он показал наивысшую среднюю пропускную способность в каждой проверенной конфигурации. Максимальное ускорение составило 6,6x относительно обычного декодирования. При 4–32 одновременных запросах метод обходит сильнейшего конкурента на 6–23%.

Где ломается параллельный драфт

Спекулятивное декодирование устроено просто. Маленькая модель-драфтер предлагает несколько токенов вперёд, а большая целевая модель проверяет их за один параллельный проход. Всё, что совпало с её собственным предсказанием, принимается. Чем длиннее принятый кусок, тем выше скорость.

Диффузионные драфтеры сделали эту схему привлекательнее. У них глубокий attention-бэкбон с сильными предсказаниями, а будущие позиции они заполняют параллельно и не платят за последовательную авторегрессию. Но у параллелизма есть цена. Токен на третьей позиции блока предсказывается, не зная, какой именно токен встал на второй. Зависимости внутри блока, которые в авторегрессии возникают сами собой, пропадают.

На практике это выглядит так: каждый токен по отдельности правдоподобен, а вместе соседние токены не стыкуются. Верификатор отбрасывает хвост блока, и длина принятого черновика падает. Выигрыш от параллельного драфтинга частично съедается.

Что делает DCOCO

Авторы не стали возвращаться к последовательной генерации. Вместо того чтобы фиксировать для каждой позиции единственного лидера, DCOCO оставляет несколько кандидатов. Затем он параллельно оценивает, насколько кандидаты на соседних позициях совместимы друг с другом, и выбирает токены уже с учётом контекста. Дополнительные затраты, по заявлению авторов, невелики.

Ключевое отличие от существующих корректоров в том, что те работают последовательно. Они тоже восстанавливают зависимости, но возвращают в пайплайн именно ту последовательную стоимость, от которой диффузионный драфтер избавлял. По данным статьи, при нагрузке в 4–32 одновременных запроса такие корректоры падают ниже базового DFlash без всякой коррекции.

Цифры из аннотации:

• 4 верифицирующие модели и 10 бенчмарков в тестах;
• наивысшая средняя пропускная способность в каждой оценённой конфигурации;
• режимы: жадное и стохастическое декодирование, с расширенным рассуждением и без него;
• ускорение до 6,6x относительно обычного декодирования;
• преимущество 6–23% над сильнейшим конкурентом при 4–32 параллельных запросах.

Отдельно важно, что результат держится и в режимах с длинными цепочками рассуждений. Именно там генерация самая дорогая, а ускорение инференса приносит больше всего.

На что смотреть при внедрении

Это препринт, и все цифры получены самими авторами. Независимой проверки и данных по конкретным моделям и железу в аннотации нет, поэтому 6,6x стоит читать как потолок, а не как ожидаемый результат на вашем трафике.

Команде, которая крутит LLM-сервис, из работы стоит вынести две вещи. Во-первых, сравнивать методы ускорения нужно не только на одиночном запросе. Корректор, выигрывающий при batch size 1, может проиграть при 8–32 конкурентных запросах, и работа показывает это прямо. Во-вторых, если вы уже используете DFlash или похожий диффузионный драфтер, DCOCO выглядит как надстройка, а не как замена всей схемы. Её имеет смысл прогнать на собственных промптах и профиле нагрузки: отдельно для коротких ответов и для длинных рассуждений, отдельно для жадного и стохастического сэмплинга. Смотреть нужно на среднюю длину принятого блока и итоговые токены в секунду на GPU, а не на одну метрику.