Inclusion AI ускорила генерацию LLM до 6,9 раза с помощью дерева черновиков

Inclusion AI представила UBTree — способ ускорить генерацию текста большими языковыми моделями. Малая модель заранее набрасывает черновик в виде дерева из 64 вариантов продолжения, а большая проверяет все ветки за один проход. Цифра «6,88×» из тестов означает, что на Qwen3-4B генерация шла почти в семь раз быстрее обычной, когда модель выдаёт по одному токену за проход. На Qwen3-8B выигрыш составил 6,94×. Это среднее по семи тестам: от школьных задач GSM8K и олимпиадной математики AIME до программирования в LiveCodeBench и диалогов в MT-Bench.

Где ломаются быстрые параллельные драфтеры

Спекулятивное декодирование держится на простой идее. Большая модель медленна, потому что на каждый токен гоняет через себя все веса. Поэтому малая модель-черновик (драфтер) заранее предлагает несколько токенов вперёд. Целевая модель проверяет их одним проходом и принимает всё до первой ошибки. Чем длиннее принятая цепочка, тем больше выигрыш.

Драфтеры бывают последовательными и параллельными. Последовательный сочиняет токены по одному, а параллельный выдаёт весь блок сразу. К параллельным относятся DFlash и DSpark, и UBTree развивает именно эту семью. Они быстрые, но у них есть слабое место. Каждую позицию блока они оценивают почти независимо от соседей. Когда распределение целевой модели размытое и несколько продолжений почти равновероятны, такой драфтер плохо угадывает, какие слова будут стоять рядом. Цепочка обрывается раньше времени.

Два прохода: набор кандидатов и склейка в дерево

UBTree чинит это без отказа от параллельности. Черновик собирается за два параллельных шага.

• Первый шаг. Модель DFlash для каждой из 16 позиций блока подбирает по 64 варианта токена. Позиции она по-прежнему считает независимо.
• Второй шаг. Биграммный селектор оценивает, насколько один вариант годится как продолжение другого. Пару соседних токенов он пропускает через два небольших перцептрона поверх замороженных эмбеддингов целевой модели, отдельно для предшественника и для последователя. Полученную оценку он добавляет к оценке DFlash. Вес оценки зависит от глубины позиции.

Все пары считаются одновременно. Из оценок переходов набирается дерево на 64 узла, и целевая модель проверяет его целиком за один проход. Одна ветка может не совпасть с выбором большой модели, но другая совпадёт.

Селектор обучали на ответах, перегенерированных при высокой температуре, с перенормированной KL-функцией потерь. При такой разметке в обучающие данные попадают не только самые вероятные продолжения, но и правдоподобные альтернативы. Поэтому дерево чаще содержит ветку, которую выберет целевая модель.

Что показали замеры

• Qwen3-4B и Qwen3-8B: среднее ускорение 6,88× и 6,94× на семи тестах.
• Против DARTree: UBTree опередил ближайший древовидный метод во всех 28 сравнениях, в среднем на 7,4–13,4%.
• Ling3-Flash-124B в SGLang: 3,27× против 2,73× у DSpark и 2,80× у DFlash.
• Qwen3.8-27B: 4,78× против 4,32× у DSpark.
• Длинный контекст (LongBench-v2): число токенов, принятых за один раунд проверки, выше, чем у сильнейшего конкурента, на 31,0–39,7%.

Обратите внимание на разброс. Почти семикратный выигрыш получен на небольших моделях Qwen3. На 124-миллиардной Ling3-Flash в боевом сервинге ускорение скромнее — 3,27×. Разница при этом всё равно заметна: у DFlash и DSpark те же замеры дают 2,80× и 2,73×.

Что можно взять уже сейчас

Вместе с методом Inclusion AI выложила две черновые модели под лицензией MIT:

• Ling3-Tiny-UBTree, 183 млн параметров. Работает в паре с Ling-3.0-tiny (8 млрд параметров, из них 1 млрд активных).
• Ling3-Flash-UBTree, 482 млн параметров. Работает в паре с Ling-3.0-flash (124 млрд параметров, 5 млрд активных).

Эти модели ничего не генерируют сами. Они годятся только как драфтеры к своей целевой модели. Поддержка UBTree для Ling3 в SGLang пока не опубликована, а команда обещает дополнительные черновые модели в течение месяца.

Для инженеров, которые сами хостят модели, вывод такой. Ускорение без потери качества ответа получается за счёт небольшой надстройки, а сами веса большой модели менять не нужно. Но готовые драфтеры пока есть только для двух моделей семейства Ling. Для другой целевой модели драфтер придётся обучать самим, и цифры на Qwen3 стоит перепроверить на собственной нагрузке.