Blink убрал CPU из обслуживания LLM и сократил задержку первого токена до 8,47 раза
Пока модель отвечает, видеокарта часто ждёт процессор (CPU): он принимает запросы, собирает пачки и решает, что считать дальше. Система Blink отдаёт это сетевой карте SmartNIC и самой GPU, а CPU выходит из рабочего цикла. В лучшем случае задержка до первого токена (P99 — для 99% запросов) упала в 8,47 раза, а энергии на токен нужно на 48,6% меньше. Если сервер тормозит при загрузке CPU, проверьте, не простаивает ли GPU.
AI-обработка оригинала X: @aiwithmayank; редакция Hamidun News
Представьте, что вы отправили запрос чат-боту и смотрите на пустой экран, хотя на сервере стоит дорогая видеокарта, которая вполне готова считать. Она ждёт не данных и не вычислений, а команды от обычного процессора (CPU). Исследователи показали, что в таких системах, как vLLM, SGLang и TensorRT-LLM, именно этот процессор-диспетчер нередко становится узким местом. Их система Blink обходится без него в рабочем режиме: задержка до первого токена (первого фрагмента ответа) в лучшем случае упала в 8,47 раза. Речь о показателе P99: это время, в которое укладываются 99% запросов, то есть почти худший сценарий, который пользователь видит на практике. Кроме того, на каждый токен уходит на 48,6% меньше энергии.
Где GPU теряет время
Современные движки для запуска LLM устроены похоже. CPU принимает входящие запросы, собирает их в батчи (пачки, которые считаются вместе), планирует, что считать следующим, и управляет памятью под KV-кэш. Это та память, где модель хранит уже обработанную часть диалога, чтобы не пересчитывать её заново.
Лучше всего это видно на примере клиники. CPU работает как администратор: записывает пациентов, раскидывает по кабинетам и сообщает врачу, кто следующий. Врач, то есть GPU, может быть свободен и готов, но без указания администратора не начнёт приём. Пока процессор занят чем-то другим, дорогое железо простаивает.
На реальном сервере процессору всегда есть чем заняться: логирование, мониторинг, сетевой стек, соседние сервисы. Когда исследователи специально нагрузили хост тяжёлыми конкурирующими задачами, обычные системы замедлялись до двух порядков. Это примерно до сотни раз в худшем случае.
Как устроен Blink
Идея в том, чтобы убрать посредника из стационарного режима обслуживания. Схема состоит из трёх частей:
- SmartNIC, то есть сетевая карта с собственным процессором, принимает каждый запрос и по технологии RDMA (прямой доступ в память без участия процессора) кладёт его сразу в память GPU;
- постоянно работающее внутри GPU ядро (persistent kernel) само собирает батчи и планирует работу;
- то же ядро управляет KV-кэшем, а CPU сервера в рабочем цикле не участвует.
В терминах клиники: врач сам смотрит на очередь в регистратуре и сам решает, кого звать дальше. Никто не звонит ему по внутренней связи.
Что получилось в тестах
Авторы сравнивали Blink с vLLM, SGLang и TensorRT-LLM. Во всех пунктах указано «до», то есть речь о лучших условиях:
- задержка до первого токена (P99) ниже в 8,47 раза;
- задержка на каждый следующий токен (P99) ниже в 3,40 раза;
- пропускная способность на этапе генерации выше в 2,1 раза;
- расход энергии на один токен ниже на 48,6%.
Отдельно стоит выделить стабильность. Когда процессор хоста был перегружен, классические системы сильно деградировали. Blink оставался ровным, потому что инференс больше не зависит от перегруженного хоста.
Ограничения и что делать на практике
Результат не стоит переоценивать. Blink не убирает CPU из сервера целиком: процессор нужен для всего остального, он лишь уходит с критического пути, пока модель отвечает. Система по-прежнему зависит от GPU и SmartNIC, так что это не очередной флаг в конфиге, а архитектурное решение для специального железа. Это не обязательно плохая новость для Nvidia: видеокарты никуда не деваются. Цифры приведены в пересказе авторов, независимых замеров на продакшн-нагрузках в источнике нет, а значения «до» нельзя считать типичными.
Практический вывод для тех, кто строит инференс-инфраструктуру: прежде чем покупать более мощные GPU, проверьте, не ждут ли они CPU. Если хвостовые задержки (P99) заметно прыгают при росте фоновой нагрузки на хосте, проблема, скорее всего, в планировании, а не в вычислениях. Простая проверка: нагрузите хост посторонними задачами и посмотрите, как поведут себя время до первого токена и пропускная способность. Если картина ухудшится, на планировщик стоит обратить внимание раньше, чем на новую видеокарту. Стоит и следить за тем, появятся ли похожие подходы в популярных движках: перенос планировщика на GPU и сетевую карту выглядит логичным шагом, если нагрузка на LLM-сервисы продолжит расти.
- 21 нояб. 2026 г.Anthropic закрыла первую неделю на бирже с оценкой $1,6 трлн, но за день упала на 8,5%
- 21 нояб. 2026 г.TensorRT-LLM обогнал vLLM на H100: 2780 против 2400 токенов/с на Llama 3.3 70B
- 21 нояб. 2026 г.Разработчики 1С перешли на ИИ-агентов: McKinsey видит прирост продуктивности лишь 3%
- 21 нояб. 2026 г.Китайские техногиганты удвоили траты на ИИ до $139 млрд, а лаборатории окупают меньше 8%
Вопросы и ответы по материалу
Что известно по теме: где GPU теряет время?
Современные движки для запуска LLM устроены похоже. CPU принимает входящие запросы, собирает их в батчи (пачки, которые считаются вместе), планирует, что считать следующим, и управляет памятью под KV-кэш. Это та память, где модель хранит уже обработанную часть диалога, чтобы не пересчитывать её заново. Лучше всего это видно на примере клиники. CPU работает как администратор: записывает пациентов, раскидывает по кабинетам и сообщает врачу, кто следующий.
Что известно по теме: как устроен Blink?
Идея в том, чтобы убрать посредника из стационарного режима обслуживания. Схема состоит из трёх частей: SmartNIC, то есть сетевая карта с собственным процессором, принимает каждый запрос и по технологии RDMA (прямой доступ в память без участия процессора) кладёт его сразу в память GPU; постоянно работающее внутри GPU ядро (persistent kernel) само собирает батчи и планирует работу; то же ядро управляет KV-кэшем, а CPU сервера в рабочем цикле не участвует.
Что известно по теме: что получилось в тестах?
Авторы сравнивали Blink с vLLM, SGLang и TensorRT-LLM. Во всех пунктах указано «до», то есть речь о лучших условиях: задержка до первого токена (P99) ниже в 8,47 раза; задержка на каждый следующий токен (P99) ниже в 3,40 раза; пропускная способность на этапе генерации выше в 2,1 раза; расход энергии на один токен ниже на 48,6%. Отдельно стоит выделить стабильность. Когда процессор хоста был перегружен, классические системы сильно деградировали.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.