Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

AWS дала агентам навык общего кэша для LLM: до 40% дешевле, первый ответ быстрее на 80%

Если вы хостите LLM на GPU, после паузы сервер заново пересчитывает всю историю диалога (KV-кэш), и юрист ждёт первый токен 13 секунд. AWS выпустила навык для Claude Code, Kiro и Codex: агент оценивает выгоду общего кэша на ElastiCache и сам его разворачивает. Заявлено до 40% экономии на инференсе и до 80% меньше времени до первого токена (TTFT). Сначала оцените выгоду на своём трафике.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS дала агентам навык общего кэша для LLM: до 40% дешевле, первый ответ быстрее на 80%
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Работает в Kiro, Claude Code, OpenAI Codex и других агентах с Agent Skills
Ключевой факт #2KVTrace бесплатно считает выгоду по вашему трафику до запуска
Ключевой факт #3Создание и удаление ресурсов агент делает только после подтверждения

Представьте юридического ИИ-ассистента на ваших собственных GPU. В одном диалоге накопились сотни тысяч токенов истории дела. Юрист вернулся к нему после обеда, а запрос попал на сервер, в памяти которого этой истории нет. Видеокарта заново считает KV-кэш — внутренние «заметки» модели о каждом токене уже прочитанного текста. Этот этап называется prefill, и пока он идёт, пользователь не видит ни слова. В примере AWS на контексте в 64 тысячи токенов первый токен приходил через 13 секунд. Сокращённо эту паузу называют TTFT, то есть время до первого токена.

AWS предлагает вынести кэш из памяти отдельных серверов в общий слой рядом с GPU-парком на Amazon ElastiCache. Тогда любой сервер подхватывает готовое состояние, даже если запрос ушёл на другую машину или прежний сервер упал. По данным AWS, такой распределённый KV-кэш снижает стоимость инференса до 40%, а TTFT — до 80%. Это верхние значения из заявления компании, а не гарантия для любой нагрузки. Новость в том, что для настройки выпустили готовый навык (skill) в Agent Toolkit for AWS. Он работает в Kiro, Claude Code, OpenAI Codex и других агентах, которые поддерживают Agent Skills.

Четыре сценария работы навыка

AWS показывает четыре диалога с агентом.

В первом агент диагностирует медленный первый токен. Он сначала ищет решения без новой инфраструктуры. Если вы отключили prefix caching, достаточно включить его обратно. Если доля попаданий в локальный кэш GPU уже выше 90% при привязке сессий к серверу, общий кэш может не понадобиться. Ещё агент предупреждает о риске для мультитенантности: по времени ответа один клиент может догадаться, что другой присылал такой же текст. Поэтому дела, которые должны быть изолированы, держат в отдельных кэшах, а при общем кэше добавляют ID арендатора в хеш.

Во втором сценарии агент оценивает экономию. Для парка из 8 инстансов p5 с запросами по 64 тысячи токенов он взял цены из прайс-листа AWS и порекомендовал два узла cache.i8ge.48xlarge. Долю попаданий в кэш он не выдумывает, а предлагает измерить её через KVTrace.

KVTrace, настройка и отладка

KVTrace записывает события KV-кэша из vLLM или SGLang и потом проигрывает их офлайн на общем кэше разных размеров. В записях лежат хеши блоков и число токенов, а не тексты промптов. Хеши строятся из содержимого, поэтому для чувствительных данных AWS советует флаг --anonymize-key-file. Записывать лучше на всех серверах за репрезентативный период, например за рабочий день. Отчёт рекомендует наименьший объём, который даёт 90% от потолка экономии. Для коротких промптов чтение кэша может оказаться дольше пересчёта, поэтому всё решают длина промпта и частота повторов.

В третьем сценарии агент разворачивает кэш с нуля. После вашего подтверждения он создаёт security group с правами для EFA и кластер Valkey 9.1 с политиками вытеснения. Для LMCache заводится отдельный пользователь, пароль хранится в Secrets Manager. Затем агент подключает коннектор LMCache к существующему vLLM или SGLang, включая варианты под llm-d и Ray Serve. Всем серверам он задаёт один механизм KV ID и явный тип данных, иначе каждый сервер пишет состояние, которое остальные не найдут. Перед продакшеном он очищает локальные уровни и проверяет, что два прогона с загрузкой из кэша дают одинаковый ответ. Если раскладка данных не совпадает, счётчики попаданий выглядят хорошо, а ответы получаются неверными.

В четвёртом сценарии агент разбирает сбой. Соединение с ElastiCache есть, а передача данных падает, и растёт счётчик rdma_write_errors. Вероятная причина — security group блокирует EFA-трафик между собственными участниками. Агент даёт команды для проверки и исправления.

Ограничения и практический вывод

Требования жёсткие: инстансы с поддержкой EFA RDMA write (например, p5), LMCache 0.5.8rc1 или новее, vLLM 0.11.1+ или SGLang 0.5.13+, ElastiCache for Valkey 9.1+ на узлах cache.i8ge.48xlarge. Освободившееся время GPU превращается в деньги, только если вы сокращаете число серверов или обслуживаете больше трафика на тех же.

Если у вас длинные многоходовые диалоги, RAG или возобновляемые агентские сессии на собственных GPU, сначала снимите трассу KVTrace за рабочий день. Заодно проверьте дешёвые варианты: prefix caching и привязку сессий. Общий кэш оправдан, когда расчёт показывает, что экономия покрывает цену узлов. Сам навык лишь автоматизирует рутину и спрашивает разрешение перед каждым значимым действием.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: четыре сценария работы навыка?

AWS показывает четыре диалога с агентом. В первом агент диагностирует медленный первый токен. Он сначала ищет решения без новой инфраструктуры. Если вы отключили prefix caching, достаточно включить его обратно. Если доля попаданий в локальный кэш GPU уже выше 90% при привязке сессий к серверу, общий кэш может не понадобиться. Ещё агент предупреждает о риске для мультитенантности: по времени ответа один клиент может догадаться, что другой присылал такой же текст.

Что известно по теме: KVTrace, настройка и отладка?

KVTrace записывает события KV-кэша из vLLM или SGLang и потом проигрывает их офлайн на общем кэше разных размеров. В записях лежат хеши блоков и число токенов, а не тексты промптов. Хеши строятся из содержимого, поэтому для чувствительных данных AWS советует флаг --anonymize-key-file. Записывать лучше на всех серверах за репрезентативный период, например за рабочий день. Отчёт рекомендует наименьший объём, который даёт 90% от потолка экономии.

Что известно по теме: ограничения и практический вывод?

Требования жёсткие: инстансы с поддержкой EFA RDMA write (например, p5), LMCache 0.5.8rc1 или новее, vLLM 0.11.1+ или SGLang 0.5.13+, ElastiCache for Valkey 9.1+ на узлах cache.i8ge.48xlarge. Освободившееся время GPU превращается в деньги, только если вы сокращаете число серверов или обслуживаете больше трафика на тех же. Если у вас длинные многоходовые диалоги, RAG или возобновляемые агентские сессии на собственных GPU, сначала снимите трассу KVTrace за рабочий день.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…