DScout ускоряет Qwen3-8B в 4,14 раза за счёт диффузионного черновика

Исследователи представили DScout — метод обучения и настройки диффузионного черновика (drafter) для speculative decoding. На шести бенчмарках он даёт среднее ускорение 3,84× на Qwen3-4B и 4,14× на Qwen3-8B относительно обычной авторегрессионной генерации. Против лучшего из существующих базовых решений выигрыш составляет 9,1% и 7,1% соответственно. Отдельная политика подбора конфигурации на этапе инференса добавляет до 9,75% поверх фиксированных настроек DScout.

Где теряется скорость в speculative decoding

Схема знакома: небольшой черновик предлагает несколько токенов, а целевая модель проверяет их параллельно. Диффузионные черновики идут дальше и генерируют сразу блок токенов, а не по одному. Логика проста: чем больше предложений и чем выше средняя длина принятой цепочки (MAT), тем быстрее работает система. Авторы показывают, что эта логика ломается в двух местах.

Во-первых, верификация принимает только непрерывный префикс. Если токен на второй позиции отвергнут, правильные предсказания на пятой и шестой пропадают зря. Обычный лосс, который усредняет ошибку по всем позициям, этого не учитывает. Во-вторых, рост MAT не гарантирует рост пропускной способности. Более глубокий черновик и более длинный блок удлиняют каждый раунд, и выигрыш в принятых токенах может целиком уйти в задержку.

Две факторизации вместо одной метрики

Первая факторизация относится к обучению. DScout раскладывает позиционный лосс на три составляющие: включение позиции в обучение (inclusion), её вес (weighting) и ошибку предсказания (prediction loss). Такое разложение подсказало три конкретных приёма: обучение со смешанными горизонтами (mixed-horizon training), демаскирование внутри блока (intra-block unmasking) и лосс, взвешенный по вероятности принятия. Вместе они подгоняют обучающий сигнал под то, как работает верификация префикса, и поднимают MAT.

Вторая факторизация относится к инференсу. Пропускная способность записывается как отношение MAT к задержке одного раунда. Из этого следует, какими параметрами управлять: глубиной обусловливания на целевую модель (target-conditioning depth), глубиной самого черновика и размером блока при инференсе. Для каждой нагрузки подбирается своя конфигурация, а не одна на всех.

Цифры из статьи

• Qwen3-4B: среднее ускорение 3,84× к авторегрессии, на 9,1% лучше сильнейшего базового решения.
• Qwen3-8B: среднее ускорение 4,14×, на 7,1% лучше.
• Оценка проведена на шести бенчмарках.
• Политика выбора конфигурации даёт до 9,75% дополнительного ускорения относительно фиксированной конфигурации DScout.
• Проверка выполнена на разных моделях и при разных уровнях конкурентности.

Что делать инженерам инференса

Главный практический вывод: MAT нельзя считать целевой метрикой. Если вы настраиваете speculative decoding в собственном стеке, замеряйте токены в секунду на реальной нагрузке и смотрите на оба множителя, MAT и задержку раунда. Оптимальные размер блока и глубина черновика зависят от профиля запросов и конкурентности, поэтому единый конфиг для всех режимов, скорее всего, оставляет заметную долю скорости на столе. В статье это до 9,75%.

Есть и ограничения. Результаты приведены для Qwen3-4B и Qwen3-8B. Как метод поведёт себя на моделях крупнее или с другой архитектурой, по описанию неизвестно. Прирост над сильным базовым решением составляет 7–9%: это инженерное улучшение, а не смена класса. Зато оно получено без изменения целевой модели, и идея обучать черновик под принятие префикса применима и за пределами диффузионных схем.