NVIDIA ускорила инференс на Blackwell до 15 раз с помощью DFlash Speculative Decoding

NVIDIA опубликовала подробное описание DFlash Speculative Decoding — метода инференса для GPU-архитектуры Blackwell, который ускоряет генерацию токенов языковых моделей в сценариях с жёсткими требованиями к задержке в 15 раз по сравнению со стандартным подходом.

Проблема последовательной генерации

Авторегрессивные языковые модели работают по простому принципу: каждый следующий токен вычисляется только после того, как готов предыдущий. Это фундаментальное ограничение архитектуры трансформеров означает, что GPU большую часть времени ожидает завершения одной операции, прежде чем перейти к следующей. Вычислительная мощность используется неравномерно, а пропускная способность системы упирается именно в этот последовательный шаг.

Проблема усиливается при переходе к мультиагентным системам. Когда несколько AI-агентов взаимодействуют последовательно — один запрашивает другого, тот обращается к третьему — задержка каждого отдельного инференса суммируется и быстро становится узким местом всей цепочки. В production-сценариях с тысячами одновременных агентных вызовов даже небольшой latency overhead превращается в серьёзную проблему масштабирования.

Speculative decoding — известная техника для борьбы с этим ограничением. Небольшая черновая модель предсказывает сразу несколько следующих токенов, а основная большая модель проверяет их все одним пакетом. Если черновые токены совпадают — они принимаются без лишних вычислений.

В случае расхождения происходит откат, но даже с учётом повторного пересчёта GPU загружен плотнее, чем в стандартной последовательной схеме.

Что добавляет DFlash DFlash — конкретная реализация speculative

decoding, оптимизированная под аппаратные особенности Blackwell. Ключевое отличие от других реализаций: метод строится поверх Flash Attention — алгоритма, который уже встроен в большинство современных LLM-фреймворков и не требует отдельной настройки со стороны пользователя. Характеристики метода: Специализированные CUDA-ядра, написанные под тензорные ядра Blackwell Параллельная верификация черновых токенов как единый батч attention-операций Совместимость с популярными библиотеками инференса без переписывания кода Нулевая деградация качества: ответы модели статистически идентичны baseline * До 15x ускорение в сценариях с длинными контекстами и точной черновой моделью Важная оговорка: 15x — верхняя граница при оптимальных условиях. Реальный прирост зависит от точности черновой модели, длины контекста и паттернов запросов. Для коротких однотурных запросов или при слабо подобранном черновике выигрыш будет скромнее.

Почему

Blackwell — особый случай Архитектура Blackwell приносит несколько аппаратных улучшений, которые делают DFlash особенно эффективным. Увеличенная пропускная способность памяти HBM3e позволяет быстрее загружать веса обеих моделей. Более быстрые тензорные ядра ускоряют параллельные матричные операции. Улучшенный планировщик вычислительных ядер снижает накладные расходы при переключении между черновой и основной моделью. Когда черновая модель генерирует 4–8 токенов вперёд, а основная проверяет их единым батчем, нагрузка на GPU трансформируется: из узкой последовательной цепочки она превращается в широкую параллельную операцию, для которой Blackwell оптимизирован аппаратно.

«С ростом сложности мультиагентных систем требования к latency становятся ещё жёстче.

DFlash — один из инструментов, который позволяет удержать задержку в разумных рамках при масштабировании», — объясняют авторы в блоге NVIDIA Developer.

Что это значит

Для команд, строящих production LLM-сервисы на картах Blackwell, DFlash предлагает выбор без компромисса по качеству: либо кратно сократить затраты на GPU при том же трафике, либо обслуживать значительно больше запросов на существующем оборудовании. Для мультиагентных пайплайнов эффект нелинейный — снижение latency в начале цепочки выигрывает на каждом последующем шаге.