Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

SageMaker стал слать LLM-запросы на GPU с готовым кэшем: первый токен быстрее на 97%

Если запросы чата или RAG уходят на случайный GPU, он заново считает длинный промпт, хотя на соседнем кэш уже готов. Новая маршрутизация KV_AWARE в SageMaker AI отправляет запрос туда, где лежит самое длинное совпадение. На Llama 3.1 70B время до первого токена сократилось на 97%, пропускная способность выросла на 234%. Для длинных диалогов и RAG её стоит проверить на своём трафике.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
SageMaker стал слать LLM-запросы на GPU с готовым кэшем: первый токен быстрее на 97%
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Доля попаданий в кэш выросла с 3–48% до 80–93%
Тест7 инстансов ml.p5.48xlarge, промпты до 64 000 токенов
Включениепеременная SM_VLLM_KV_EVENTS_CONFIG и KV_AWARE в конфиге

Представьте поддержку на базе LLM: каждый диалог начинается с одного и того же куска базы знаний на 6 000 токенов. Модель считает его один раз и хранит результат в памяти GPU — это называется KV-кэш. Если следующая реплика диалога попадёт на другой сервер, где этого кэша нет, GPU пересчитает все 6 000 токенов заново, а пользователь будет ждать первый токен ответа. Amazon SageMaker AI добавил для real-time эндпоинтов стратегию маршрутизации KV_AWARE, которая отправляет запрос туда, где нужный кэш реально лежит. На Llama 3.1 70B это сократило медианное время до первого токена (TTFT) на 97%, а пропускную способность подняло на 234%.

Чем не устроила префиксная маршрутизация

Раньше в SageMaker уже была стратегия PREFIX_AWARE. Она хеширует начало запроса — заданное число байт или символов (PrefixLength) — и шлёт похожие запросы на один инстанс. Роутер при этом не видит, что на самом деле лежит в кэше, и из-за этого ошибается в двух случаях.

Первый: память GPU заполнилась, инстанс выбросил старые записи кэша, а роутер всё равно отправляет туда запросы, считая кэш тёплым. Второй: в многоходовом чате история растёт с каждой репликой. Пока запрос короче PrefixLength, хешируемый текст меняется на каждом ходе, и следующая реплика может уехать на другой инстанс. Диалог «прилипает» к одному серверу, только когда запрос вырос больше PrefixLength.

Как работает KV_AWARE

Контейнер с моделью сам сообщает, что у него в кэше: при каждом сохранении или удалении записей он публикует событие. Их включает переменная SM_VLLM_KV_EVENTS_CONFIG. SageMaker собирает события в управляемый индекс. В нём нет промптов, ID токенов, тел запросов и KV-тензоров — только необратимые усечённые хеши и указатели на инстанс или копию inference component, где они лежат.

Когда приходит запрос, эндпоинт токенизирует промпт и ищет его токены в индексе. Дальше он сопоставляет длину совпадения с загрузкой инстанса. Если лучший кандидат занят, запрос уходит к следующему свободному. Если полезных совпадений нет или заняты все, срабатывает обычная балансировка по нагрузке, как у LEAST_OUTSTANDING_REQUESTS.

Пример из AWS: четвёртая реплика диалога весит 6 200 токенов, инстанс A держит первые 6 000, значит, A досчитает только оставшиеся 200. А в сценарии со службой поддержки под нагрузкой A выбросил почти весь кусок базы знаний, зато инстанс B помнит его первые 4 000 токенов. Префиксный роутер отправил бы запрос на A, а KV-aware роутер отправит на B. При низкой нагрузке эвакуации кэша нет, и обе стратегии выберут A. Совпадение считается по токенам, поэтому порог параллелизма настраивать не нужно.

Цифры и ограничения

AWS гоняла Llama 3.1 70B Instruct на семи инстансах ml.p5.48xlarge: тесты по 30 минут, 20 или 100 виртуальных пользователей, многоходовые чаты и вопросы по документам, промпты до 64 000 токенов. Против случайной маршрутизации при длинных промптах под нагрузкой KV_AWARE сократил p50 TTFT на 97%, поднял пропускную способность на 234%, а долю попаданий в кэш — с 3–48% до 80–93%. Длинные промпты выигрывали и при меньшей нагрузке. На коротких выигрыш минимален: пересчитывать там почти нечего.

Что важно учесть:

  • Стратегия работает только от двух инстансов или двух копий inference component. С одним инстансом она ничего не меняет.
  • Нужен поддерживаемый контейнер (AWS vLLM Deep Learning Container) с включённым префиксным кэшированием и событиями KV-кэша.
  • Лишняя задержка роутера — несколько миллисекунд на короткий промпт и больше на длинный, в основном из-за токенизации. У префиксной стратегии это 1,3–1,9 мс.
  • После масштабирования или обновления новые инстансы стартуют с пустым кэшем, и задержки какое-то время выше.
  • Откаты на балансировку по нагрузке в консоли и метриках на старте не видны, эффект придётся проверять самим.

Что делать на практике

Включение занимает два шага: добавьте переменную окружения в модель и поставьте RoutingStrategy в KV_AWARE в RoutingConfig варианта эндпоинта. Клиенты вызывают эндпоинт теми же API.

Если у вас стабильный общий системный промпт, короткие запросы и умеренная нагрузка, хватит PREFIX_AWARE: он работает с любым контейнером. KV_AWARE нужен там, где контекст длинный, нагрузка высокая и GPU-памяти под кэш не хватает: долгие диалоги, RAG с большими документами, ассистенты с тяжёлыми промптами. Цифры из блога зависят от нагрузки, поэтому прогоните свой трафик на двух эндпоинтах и сравните TTFT, пропускную способность и долю попаданий в кэш.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: чем не устроила префиксная маршрутизация?

Раньше в SageMaker уже была стратегия PREFIX_AWARE. Она хеширует начало запроса — заданное число байт или символов (PrefixLength) — и шлёт похожие запросы на один инстанс. Роутер при этом не видит, что на самом деле лежит в кэше, и из-за этого ошибается в двух случаях. Первый: память GPU заполнилась, инстанс выбросил старые записи кэша, а роутер всё равно отправляет туда запросы, считая кэш тёплым. Второй: в многоходовом чате история растёт с каждой репликой.

Что известно по теме: как работает KV_AWARE?

Контейнер с моделью сам сообщает, что у него в кэше: при каждом сохранении или удалении записей он публикует событие. Их включает переменная SM_VLLM_KV_EVENTS_CONFIG. SageMaker собирает события в управляемый индекс. В нём нет промптов, ID токенов, тел запросов и KV-тензоров — только необратимые усечённые хеши и указатели на инстанс или копию inference component, где они лежат. Когда приходит запрос, эндпоинт токенизирует промпт и ищет его токены в индексе.

Что известно по теме: цифры и ограничения?

AWS гоняла Llama 3.1 70B Instruct на семи инстансах ml.p5.48xlarge: тесты по 30 минут, 20 или 100 виртуальных пользователей, многоходовые чаты и вопросы по документам, промпты до 64 000 токенов. Против случайной маршрутизации при длинных промптах под нагрузкой KV_AWARE сократил p50 TTFT на 97%, поднял пропускную способность на 234%, а долю попаданий в кэш — с 3–48% до 80–93%. Длинные промпты выигрывали и при меньшей нагрузке. На коротких выигрыш минимален: пересчитывать там почти нечего.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…