Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Wildberries сократил время ответа ИИ-ассистента с 10,9 до 3,6 с через DFlash 2

На каждое сообщение ассистент Wildberries делает около 26 обращений к LLM, и пользователь ждёт всю цепочку. Команда подключила DFlash 2: маленькая модель-черновик угадывает токены вперёд, а большая проверяет их за один проход. В проде медиана времени обработки сообщения упала с 10,9 до 3,6 с, хотя менялось не только декодирование. Для коротких JSON-ответов выгодны параллельные драфтеры.

AI-обработка оригинала Habr AI; редакция Hamidun News
Wildberries сократил время ответа ИИ-ассистента с 10,9 до 3,6 с через DFlash 2
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1На стенде лидеры ускорили ход вдвое, при 128 пользователях — в 1,4 раза
EAGLE-3 медленнее DFlash на 11–23%черновик строится по одному токену
Ключевой факт #3MTP-голова модели, дообученная на домене, даёт ×1,7–1,8 против ×2

Когда вы пишете ИИ-ассистенту в магазине, за одним сообщением стоит целая цепочка обращений к языковой модели. У ассистента покупателя на Wildberries их в среднем около 26: он разбирает контекст, вытаскивает предпочтения, генерирует поисковые запросы, подбирает фильтры и только потом пишет ответ. Часть вызовов идёт параллельно, но пользователь ждёт всю цепочку целиком. Чтобы сократить это ожидание, команда перевела ассистента на спекулятивный декодинг. Идея простая: маленькая модель-черновик (драфтер) заранее угадывает несколько следующих токенов, а большая модель проверяет догадку за один проход. В проде после перехода на метод DFlash 2 медиана времени обработки сообщения упала с 10,9 до 3,6 секунды. Но сначала Wildberries сравнил семь методов на одном стенде.

Почему проверка догадок выгодна

Генерация текста большой моделью упирается не в вычисления, а в память. Чтобы выдать один токен, GPU читает все задействованные веса, а считает совсем немного. Если подать на вход сразу восемь токенов, проход стоит почти столько же: веса читаются один раз.

Поэтому драфтер предлагает продолжение, а большая модель принимает самый длинный верный кусок. На первой ошибке она ставит свой токен. При корректной проверке распределение ответов целевой модели не меняется. Плохой драфтер не портит текст, он просто реже угадывает. Ускорение при этом не гарантировано. Оно зависит от стоимости черновика и проверки и от доли принятых токенов. Под большой нагрузкой выигрыш тает: шаг начинает упираться в вычисления, а не в память.

Профиль у ассистента необычный. Средний вызов — это промпт примерно на 5 тысяч токенов и ответ примерно на 45 токенов, чаще всего JSON по схеме. Ответы короткие, но их много, и они стоят на критическом пути. Модель в проде — MoE в FP8 с гибридным вниманием: часть слоёв с линейным вниманием, часть с обычным полным.

Что показал стенд

Мерить на проде нельзя: ассистент обращается к смежным системам со строгими лимитами по RPS. Поэтому команда собрала изолированный стенд с тем же кодом, той же моделью и теми же флагами vLLM. Прогон шёл на 449 ходах из 300 сессий, которых не было в обучении. Мерили время целого хода под нагрузкой, а не токены в секунду, ведь именно это видит пользователь. Один и тот же метод от прогона к прогону давал разброс до 9% при малой нагрузке и до 4,5% при 128 пользователях. Методы с меньшей разницей авторы считают равными.

Результаты такие:

  • Лучшие — параллельные драфтеры DFlash, DSpark и DFlash 2. При малой нагрузке ход у них быстрее примерно вдвое, при 128 одновременных пользователях — в 1,4 раза. Между собой они в пределах шума.
  • MTP-голова самой модели, дообученная под домен, даёт ×1,7–1,8 при малой нагрузке.
  • EAGLE-3 принимает почти столько же токенов за шаг, сколько DFlash, но медленнее на 11–23%. Его черновик строится последовательно, а параллельный драфтер делает черновик за один проход.
  • Готовые драфтеры работают и без обучения. На открытой модели её MTP-голова и публичный DFlash ускоряют ход в 1,6–2 раза при малой нагрузке и в 1,2–1,3 раза при 128 пользователях.

Драфтеры учили на ответах той же модели, что работает в проде: они угадывают продолжение именно её, а не абстрактно правильный текст. На каждой ноде 6 GPU держали серверы vLLM с большой моделью, ещё 2 GPU учили драфтер. Пилотный бюджет составил 847 тысяч строк и 39 миллионов токенов ответов.

Где легко сломать продакшн

Самая практичная находка касается методов без обучения. n-gram и suffix decoding в vLLM 0.30 на гибридной модели с линейным вниманием ломают ответы. Авторы нашли закономерность и поставили контрольный эксперимент. Причина в том, что линейное внимание хранит одно состояние фиксированного размера, и вклад отвергнутых токенов из него нельзя точно и дёшево вычеркнуть. Ветки кода для таких слоёв в vLLM моложе, чем путь для обычного KV-кэша. Там команда нашла два ограничения: одно ломает ответы, другое не даёт включить адаптивную проверку.

Есть и честная оговорка. Падение медианы с 10,9 до 3,6 с — это результат перехода в проде, а не чистый эксперимент: менялось не только декодирование.

Практический вывод для команд с похожими системами. Если у вас гибридная модель и vLLM, сравнивайте долю битого JSON у базы и у каждого метода. Правильная спекуляция не должна её менять. Для коротких структурированных ответов стоит смотреть на параллельные драфтеры. Собственный драфтер или MTP-голову лучше доучивать на ответах своей модели.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему проверка догадок выгодна?

Генерация текста большой моделью упирается не в вычисления, а в память. Чтобы выдать один токен, GPU читает все задействованные веса, а считает совсем немного. Если подать на вход сразу восемь токенов, проход стоит почти столько же: веса читаются один раз. Поэтому драфтер предлагает продолжение, а большая модель принимает самый длинный верный кусок. На первой ошибке она ставит свой токен. При корректной проверке распределение ответов целевой модели не меняется.

Что известно по теме: что показал стенд?

Мерить на проде нельзя: ассистент обращается к смежным системам со строгими лимитами по RPS. Поэтому команда собрала изолированный стенд с тем же кодом, той же моделью и теми же флагами vLLM. Прогон шёл на 449 ходах из 300 сессий, которых не было в обучении. Мерили время целого хода под нагрузкой, а не токены в секунду, ведь именно это видит пользователь. Один и тот же метод от прогона к прогону давал разброс до 9% при малой нагрузке и до 4,5% при 128 пользователях.

Что известно по теме: где легко сломать продакшн?

Самая практичная находка касается методов без обучения. n-gram и suffix decoding в vLLM 0.30 на гибридной модели с линейным вниманием ломают ответы. Авторы нашли закономерность и поставили контрольный эксперимент. Причина в том, что линейное внимание хранит одно состояние фиксированного размера, и вклад отвергнутых токенов из него нельзя точно и дёшево вычеркнуть. Ветки кода для таких слоёв в vLLM моложе, чем путь для обычного KV-кэша.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…