Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарX: @aiwithmayank→ оригинал

Blink убрал CPU из обслуживания LLM и сократил задержку первого токена до 8,47 раза

Пока модель отвечает, видеокарта часто ждёт процессор (CPU): он принимает запросы, собирает пачки и решает, что считать дальше. Система Blink отдаёт это сетевой карте SmartNIC и самой GPU, а CPU выходит из рабочего цикла. В лучшем случае задержка до первого токена (P99 — для 99% запросов) упала в 8,47 раза, а энергии на токен нужно на 48,6% меньше. Если сервер тормозит при загрузке CPU, проверьте, не простаивает ли GPU.

AI-обработка оригинала X: @aiwithmayank; редакция Hamidun News
Blink убрал CPU из обслуживания LLM и сократил задержку первого токена до 8,47 раза
Источник: X: @aiwithmayank. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @aiwithmayank ↗
Главный редактор
Ключевой факт #1Каждый следующий токен — до 3,40× быстрее (P99), пропускная способность до 2,1×
Ключевой факт #2При забитом CPU обычные движки тормозили до двух порядков, Blink держался
Нужны SmartNIC и GPUпроцессор из сервера не уходит

Представьте, что вы отправили запрос чат-боту и смотрите на пустой экран, хотя на сервере стоит дорогая видеокарта, которая вполне готова считать. Она ждёт не данных и не вычислений, а команды от обычного процессора (CPU). Исследователи показали, что в таких системах, как vLLM, SGLang и TensorRT-LLM, именно этот процессор-диспетчер нередко становится узким местом. Их система Blink обходится без него в рабочем режиме: задержка до первого токена (первого фрагмента ответа) в лучшем случае упала в 8,47 раза. Речь о показателе P99: это время, в которое укладываются 99% запросов, то есть почти худший сценарий, который пользователь видит на практике. Кроме того, на каждый токен уходит на 48,6% меньше энергии.

Где GPU теряет время

Современные движки для запуска LLM устроены похоже. CPU принимает входящие запросы, собирает их в батчи (пачки, которые считаются вместе), планирует, что считать следующим, и управляет памятью под KV-кэш. Это та память, где модель хранит уже обработанную часть диалога, чтобы не пересчитывать её заново.

Лучше всего это видно на примере клиники. CPU работает как администратор: записывает пациентов, раскидывает по кабинетам и сообщает врачу, кто следующий. Врач, то есть GPU, может быть свободен и готов, но без указания администратора не начнёт приём. Пока процессор занят чем-то другим, дорогое железо простаивает.

На реальном сервере процессору всегда есть чем заняться: логирование, мониторинг, сетевой стек, соседние сервисы. Когда исследователи специально нагрузили хост тяжёлыми конкурирующими задачами, обычные системы замедлялись до двух порядков. Это примерно до сотни раз в худшем случае.

Как устроен Blink

Идея в том, чтобы убрать посредника из стационарного режима обслуживания. Схема состоит из трёх частей:

  • SmartNIC, то есть сетевая карта с собственным процессором, принимает каждый запрос и по технологии RDMA (прямой доступ в память без участия процессора) кладёт его сразу в память GPU;
  • постоянно работающее внутри GPU ядро (persistent kernel) само собирает батчи и планирует работу;
  • то же ядро управляет KV-кэшем, а CPU сервера в рабочем цикле не участвует.

В терминах клиники: врач сам смотрит на очередь в регистратуре и сам решает, кого звать дальше. Никто не звонит ему по внутренней связи.

Что получилось в тестах

Авторы сравнивали Blink с vLLM, SGLang и TensorRT-LLM. Во всех пунктах указано «до», то есть речь о лучших условиях:

  • задержка до первого токена (P99) ниже в 8,47 раза;
  • задержка на каждый следующий токен (P99) ниже в 3,40 раза;
  • пропускная способность на этапе генерации выше в 2,1 раза;
  • расход энергии на один токен ниже на 48,6%.

Отдельно стоит выделить стабильность. Когда процессор хоста был перегружен, классические системы сильно деградировали. Blink оставался ровным, потому что инференс больше не зависит от перегруженного хоста.

Ограничения и что делать на практике

Результат не стоит переоценивать. Blink не убирает CPU из сервера целиком: процессор нужен для всего остального, он лишь уходит с критического пути, пока модель отвечает. Система по-прежнему зависит от GPU и SmartNIC, так что это не очередной флаг в конфиге, а архитектурное решение для специального железа. Это не обязательно плохая новость для Nvidia: видеокарты никуда не деваются. Цифры приведены в пересказе авторов, независимых замеров на продакшн-нагрузках в источнике нет, а значения «до» нельзя считать типичными.

Практический вывод для тех, кто строит инференс-инфраструктуру: прежде чем покупать более мощные GPU, проверьте, не ждут ли они CPU. Если хвостовые задержки (P99) заметно прыгают при росте фоновой нагрузки на хосте, проблема, скорее всего, в планировании, а не в вычислениях. Простая проверка: нагрузите хост посторонними задачами и посмотрите, как поведут себя время до первого токена и пропускная способность. Если картина ухудшится, на планировщик стоит обратить внимание раньше, чем на новую видеокарту. Стоит и следить за тем, появятся ли похожие подходы в популярных движках: перенос планировщика на GPU и сетевую карту выглядит логичным шагом, если нагрузка на LLM-сервисы продолжит расти.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: где GPU теряет время?

Современные движки для запуска LLM устроены похоже. CPU принимает входящие запросы, собирает их в батчи (пачки, которые считаются вместе), планирует, что считать следующим, и управляет памятью под KV-кэш. Это та память, где модель хранит уже обработанную часть диалога, чтобы не пересчитывать её заново. Лучше всего это видно на примере клиники. CPU работает как администратор: записывает пациентов, раскидывает по кабинетам и сообщает врачу, кто следующий.

Что известно по теме: как устроен Blink?

Идея в том, чтобы убрать посредника из стационарного режима обслуживания. Схема состоит из трёх частей: SmartNIC, то есть сетевая карта с собственным процессором, принимает каждый запрос и по технологии RDMA (прямой доступ в память без участия процессора) кладёт его сразу в память GPU; постоянно работающее внутри GPU ядро (persistent kernel) само собирает батчи и планирует работу; то же ядро управляет KV-кэшем, а CPU сервера в рабочем цикле не участвует.

Что известно по теме: что получилось в тестах?

Авторы сравнивали Blink с vLLM, SGLang и TensorRT-LLM. Во всех пунктах указано «до», то есть речь о лучших условиях: задержка до первого токена (P99) ниже в 8,47 раза; задержка на каждый следующий токен (P99) ниже в 3,40 раза; пропускная способность на этапе генерации выше в 2,1 раза; расход энергии на один токен ниже на 48,6%. Отдельно стоит выделить стабильность. Когда процессор хоста был перегружен, классические системы сильно деградировали.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…