SageMaker стал слать LLM-запросы на GPU с готовым кэшем: первый токен быстрее на 97%
Если запросы чата или RAG уходят на случайный GPU, он заново считает длинный промпт, хотя на соседнем кэш уже готов. Новая маршрутизация KV_AWARE в SageMaker AI отправляет запрос туда, где лежит самое длинное совпадение. На Llama 3.1 70B время до первого токена сократилось на 97%, пропускная способность выросла на 234%. Для длинных диалогов и RAG её стоит проверить на своём трафике.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте поддержку на базе LLM: каждый диалог начинается с одного и того же куска базы знаний на 6 000 токенов. Модель считает его один раз и хранит результат в памяти GPU — это называется KV-кэш. Если следующая реплика диалога попадёт на другой сервер, где этого кэша нет, GPU пересчитает все 6 000 токенов заново, а пользователь будет ждать первый токен ответа. Amazon SageMaker AI добавил для real-time эндпоинтов стратегию маршрутизации KV_AWARE, которая отправляет запрос туда, где нужный кэш реально лежит. На Llama 3.1 70B это сократило медианное время до первого токена (TTFT) на 97%, а пропускную способность подняло на 234%.
Чем не устроила префиксная маршрутизация
Раньше в SageMaker уже была стратегия PREFIX_AWARE. Она хеширует начало запроса — заданное число байт или символов (PrefixLength) — и шлёт похожие запросы на один инстанс. Роутер при этом не видит, что на самом деле лежит в кэше, и из-за этого ошибается в двух случаях.
Первый: память GPU заполнилась, инстанс выбросил старые записи кэша, а роутер всё равно отправляет туда запросы, считая кэш тёплым. Второй: в многоходовом чате история растёт с каждой репликой. Пока запрос короче PrefixLength, хешируемый текст меняется на каждом ходе, и следующая реплика может уехать на другой инстанс. Диалог «прилипает» к одному серверу, только когда запрос вырос больше PrefixLength.
Как работает KV_AWARE
Контейнер с моделью сам сообщает, что у него в кэше: при каждом сохранении или удалении записей он публикует событие. Их включает переменная SM_VLLM_KV_EVENTS_CONFIG. SageMaker собирает события в управляемый индекс. В нём нет промптов, ID токенов, тел запросов и KV-тензоров — только необратимые усечённые хеши и указатели на инстанс или копию inference component, где они лежат.
Когда приходит запрос, эндпоинт токенизирует промпт и ищет его токены в индексе. Дальше он сопоставляет длину совпадения с загрузкой инстанса. Если лучший кандидат занят, запрос уходит к следующему свободному. Если полезных совпадений нет или заняты все, срабатывает обычная балансировка по нагрузке, как у LEAST_OUTSTANDING_REQUESTS.
Пример из AWS: четвёртая реплика диалога весит 6 200 токенов, инстанс A держит первые 6 000, значит, A досчитает только оставшиеся 200. А в сценарии со службой поддержки под нагрузкой A выбросил почти весь кусок базы знаний, зато инстанс B помнит его первые 4 000 токенов. Префиксный роутер отправил бы запрос на A, а KV-aware роутер отправит на B. При низкой нагрузке эвакуации кэша нет, и обе стратегии выберут A. Совпадение считается по токенам, поэтому порог параллелизма настраивать не нужно.
Цифры и ограничения
AWS гоняла Llama 3.1 70B Instruct на семи инстансах ml.p5.48xlarge: тесты по 30 минут, 20 или 100 виртуальных пользователей, многоходовые чаты и вопросы по документам, промпты до 64 000 токенов. Против случайной маршрутизации при длинных промптах под нагрузкой KV_AWARE сократил p50 TTFT на 97%, поднял пропускную способность на 234%, а долю попаданий в кэш — с 3–48% до 80–93%. Длинные промпты выигрывали и при меньшей нагрузке. На коротких выигрыш минимален: пересчитывать там почти нечего.
Что важно учесть:
- Стратегия работает только от двух инстансов или двух копий inference component. С одним инстансом она ничего не меняет.
- Нужен поддерживаемый контейнер (AWS vLLM Deep Learning Container) с включённым префиксным кэшированием и событиями KV-кэша.
- Лишняя задержка роутера — несколько миллисекунд на короткий промпт и больше на длинный, в основном из-за токенизации. У префиксной стратегии это 1,3–1,9 мс.
- После масштабирования или обновления новые инстансы стартуют с пустым кэшем, и задержки какое-то время выше.
- Откаты на балансировку по нагрузке в консоли и метриках на старте не видны, эффект придётся проверять самим.
Что делать на практике
Включение занимает два шага: добавьте переменную окружения в модель и поставьте RoutingStrategy в KV_AWARE в RoutingConfig варианта эндпоинта. Клиенты вызывают эндпоинт теми же API.
Если у вас стабильный общий системный промпт, короткие запросы и умеренная нагрузка, хватит PREFIX_AWARE: он работает с любым контейнером. KV_AWARE нужен там, где контекст длинный, нагрузка высокая и GPU-памяти под кэш не хватает: долгие диалоги, RAG с большими документами, ассистенты с тяжёлыми промптами. Цифры из блога зависят от нагрузки, поэтому прогоните свой трафик на двух эндпоинтах и сравните TTFT, пропускную способность и долю попаданий в кэш.
- 19 нояб. 2026 г.Нейросети внесли школу в список военных целей в 70% тестов Vals AI
- 19 нояб. 2026 г.Q.ANT и AMD запустили LLM на 1 млрд параметров с оптическим чипом вместо внимания
- 19 нояб. 2026 г.Слово «видеоигра» подняло готовность GPT-6 Astra выбирать цели с 6% до 92%
- 19 нояб. 2026 г.AWS добавила в SageMaker рейтинг из 70+ моделей: качество, скорость и цена в одной таблице
Вопросы и ответы по материалу
Что известно по теме: чем не устроила префиксная маршрутизация?
Раньше в SageMaker уже была стратегия PREFIX_AWARE. Она хеширует начало запроса — заданное число байт или символов (PrefixLength) — и шлёт похожие запросы на один инстанс. Роутер при этом не видит, что на самом деле лежит в кэше, и из-за этого ошибается в двух случаях. Первый: память GPU заполнилась, инстанс выбросил старые записи кэша, а роутер всё равно отправляет туда запросы, считая кэш тёплым. Второй: в многоходовом чате история растёт с каждой репликой.
Что известно по теме: как работает KV_AWARE?
Контейнер с моделью сам сообщает, что у него в кэше: при каждом сохранении или удалении записей он публикует событие. Их включает переменная SM_VLLM_KV_EVENTS_CONFIG. SageMaker собирает события в управляемый индекс. В нём нет промптов, ID токенов, тел запросов и KV-тензоров — только необратимые усечённые хеши и указатели на инстанс или копию inference component, где они лежат. Когда приходит запрос, эндпоинт токенизирует промпт и ищет его токены в индексе.
Что известно по теме: цифры и ограничения?
AWS гоняла Llama 3.1 70B Instruct на семи инстансах ml.p5.48xlarge: тесты по 30 минут, 20 или 100 виртуальных пользователей, многоходовые чаты и вопросы по документам, промпты до 64 000 токенов. Против случайной маршрутизации при длинных промптах под нагрузкой KV_AWARE сократил p50 TTFT на 97%, поднял пропускную способность на 234%, а долю попаданий в кэш — с 3–48% до 80–93%. Длинные промпты выигрывали и при меньшей нагрузке. На коротких выигрыш минимален: пересчитывать там почти нечего.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.