ReaDy ускоряет декодирование гибридных LLM в 3,16 раза на одной B200

Исследователи представили ReaDy, метод спекулятивного декодирования для гибридных моделей с линейным вниманием. На семи бенчмарках по математике, генерации кода и диалогам он в среднем ускоряет генерацию в 3,16 раза по сравнению с обычным авторегрессионным декодированием. Тест проводили на Qwen3.8-27B и одной NVIDIA B200. От предыдущего решения DSpark ReaDy отличается стабильным выигрышем: он лучше на всех семи тестах, в среднем на 7,97% по пропускной способности и на 8,50% по длине принятой последовательности.

Почему черновик смотрит не туда

Спекулятивное декодирование устроено просто. Лёгкий черновик (drafter) предсказывает сразу несколько токенов вперёд, а основная модель проверяет их за один проход и принимает верный префикс. Чем длиннее принятая цепочка, тем меньше дорогих шагов делает большая модель.

Многие современные черновики опираются на скрытые признаки целевой модели. Авторы ReaDy указывают на слабое место такого подхода: эти признаки несут свой «контекстный акцент», который не обязательно совпадает с тем, что нужно позициям черновика дальше по цепочке. Для первого токена одна часть истории важнее, для четвёртого может понадобиться другая. Единый набор признаков закрывает эти нужды неравномерно.

Как устроен ReaDy

Гибридные линейные модели хранят компактные рекуррентные состояния, в которых накапливаются исторические ассоциации. Для ускорения это удобный источник дополнительного контекста: он уже посчитан целевой моделью и занимает немного места. По заявлению авторов, ReaDy первым применяет эти состояния для поиска контекста под конкретную позицию черновика.

Механика такая:

• Каждая позиция черновика получает собственный обучаемый запрос.
• Запрос читает дополнительный контекст прямо из зафиксированных (committed) рекуррентных состояний целевой модели.
• Лёгкий модуль чтения состояний (state reader) добавляет найденное в представления черновика через резидуальные обновления.
• Низкоранговое чтение состояний и объединённые (fused) операторы удерживают дополнительные вычисления и нагрузку на ввод-вывод на низком уровне.

За основу взяты параллельный backbone и последовательная голова предсказания из DSpark. Адаптация идёт в два этапа. В абляциях авторы проверяли ёмкость reader, источники состояний и место вставки резидуальных обновлений. Конкретных результатов этих абляций в аннотации нет.

Цифры

• Бенчмарки: семь, охватывают математику, код и диалоги.
• Модель и железо: Qwen3.8-27B, одна NVIDIA B200.
• Среднее ускорение к авторегрессии: 3,16x.
• Против DSpark: throughput +7,97%, acceptance length +8,50% в среднем.
• Результат лучше DSpark на каждом из семи тестов.

Обратите внимание на связку метрик. Рост длины принятия на 8,50% при росте пропускной способности на 7,97% означает, что почти весь выигрыш идёт от более точных черновиков, а дополнительные вычисления на чтение состояний съедают лишь малую часть. Это согласуется с акцентом авторов на низкоранговом чтении и fused-операторах.

Что проверить перед внедрением

Метод привязан к архитектуре. Он требует рекуррентных состояний, поэтому подойдёт для гибридных линейных моделей, а для классических трансформеров с полным вниманием в таком виде неприменим. Если ваш продакшен работает на HLA-моделях, ReaDy стоит добавить в список кандидатов: код открыт на GitHub (StartLuxLabs/ReaDy), а двухэтапная адаптация означает, что черновик нужно доучивать под свою целевую модель, а не брать готовым.

В описании нет данных, которые важны для реальной эксплуатации. Неясно, как метод ведёт себя при больших батчах, на длинных контекстах и при ограниченной памяти. Все замеры сделаны на одной B200, а сравнение с DSpark идёт на одном наборе тестов. Прежде чем закладывать 3,16x в расчёт стоимости инференса, прогоните метод на собственном трафике: код, математика и диалоги могут распределяться у вас иначе, а скорость спекулятивных методов сильно зависит от предсказуемости текста.