AWS дала агентам навык общего кэша для LLM: до 40% дешевле, первый ответ быстрее на 80%
Если вы хостите LLM на GPU, после паузы сервер заново пересчитывает всю историю диалога (KV-кэш), и юрист ждёт первый токен 13 секунд. AWS выпустила навык для Claude Code, Kiro и Codex: агент оценивает выгоду общего кэша на ElastiCache и сам его разворачивает. Заявлено до 40% экономии на инференсе и до 80% меньше времени до первого токена (TTFT). Сначала оцените выгоду на своём трафике.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте юридического ИИ-ассистента на ваших собственных GPU. В одном диалоге накопились сотни тысяч токенов истории дела. Юрист вернулся к нему после обеда, а запрос попал на сервер, в памяти которого этой истории нет. Видеокарта заново считает KV-кэш — внутренние «заметки» модели о каждом токене уже прочитанного текста. Этот этап называется prefill, и пока он идёт, пользователь не видит ни слова. В примере AWS на контексте в 64 тысячи токенов первый токен приходил через 13 секунд. Сокращённо эту паузу называют TTFT, то есть время до первого токена.
AWS предлагает вынести кэш из памяти отдельных серверов в общий слой рядом с GPU-парком на Amazon ElastiCache. Тогда любой сервер подхватывает готовое состояние, даже если запрос ушёл на другую машину или прежний сервер упал. По данным AWS, такой распределённый KV-кэш снижает стоимость инференса до 40%, а TTFT — до 80%. Это верхние значения из заявления компании, а не гарантия для любой нагрузки. Новость в том, что для настройки выпустили готовый навык (skill) в Agent Toolkit for AWS. Он работает в Kiro, Claude Code, OpenAI Codex и других агентах, которые поддерживают Agent Skills.
Четыре сценария работы навыка
AWS показывает четыре диалога с агентом.
В первом агент диагностирует медленный первый токен. Он сначала ищет решения без новой инфраструктуры. Если вы отключили prefix caching, достаточно включить его обратно. Если доля попаданий в локальный кэш GPU уже выше 90% при привязке сессий к серверу, общий кэш может не понадобиться. Ещё агент предупреждает о риске для мультитенантности: по времени ответа один клиент может догадаться, что другой присылал такой же текст. Поэтому дела, которые должны быть изолированы, держат в отдельных кэшах, а при общем кэше добавляют ID арендатора в хеш.
Во втором сценарии агент оценивает экономию. Для парка из 8 инстансов p5 с запросами по 64 тысячи токенов он взял цены из прайс-листа AWS и порекомендовал два узла cache.i8ge.48xlarge. Долю попаданий в кэш он не выдумывает, а предлагает измерить её через KVTrace.
KVTrace, настройка и отладка
KVTrace записывает события KV-кэша из vLLM или SGLang и потом проигрывает их офлайн на общем кэше разных размеров. В записях лежат хеши блоков и число токенов, а не тексты промптов. Хеши строятся из содержимого, поэтому для чувствительных данных AWS советует флаг --anonymize-key-file. Записывать лучше на всех серверах за репрезентативный период, например за рабочий день. Отчёт рекомендует наименьший объём, который даёт 90% от потолка экономии. Для коротких промптов чтение кэша может оказаться дольше пересчёта, поэтому всё решают длина промпта и частота повторов.
В третьем сценарии агент разворачивает кэш с нуля. После вашего подтверждения он создаёт security group с правами для EFA и кластер Valkey 9.1 с политиками вытеснения. Для LMCache заводится отдельный пользователь, пароль хранится в Secrets Manager. Затем агент подключает коннектор LMCache к существующему vLLM или SGLang, включая варианты под llm-d и Ray Serve. Всем серверам он задаёт один механизм KV ID и явный тип данных, иначе каждый сервер пишет состояние, которое остальные не найдут. Перед продакшеном он очищает локальные уровни и проверяет, что два прогона с загрузкой из кэша дают одинаковый ответ. Если раскладка данных не совпадает, счётчики попаданий выглядят хорошо, а ответы получаются неверными.
В четвёртом сценарии агент разбирает сбой. Соединение с ElastiCache есть, а передача данных падает, и растёт счётчик rdma_write_errors. Вероятная причина — security group блокирует EFA-трафик между собственными участниками. Агент даёт команды для проверки и исправления.
Ограничения и практический вывод
Требования жёсткие: инстансы с поддержкой EFA RDMA write (например, p5), LMCache 0.5.8rc1 или новее, vLLM 0.11.1+ или SGLang 0.5.13+, ElastiCache for Valkey 9.1+ на узлах cache.i8ge.48xlarge. Освободившееся время GPU превращается в деньги, только если вы сокращаете число серверов или обслуживаете больше трафика на тех же.
Если у вас длинные многоходовые диалоги, RAG или возобновляемые агентские сессии на собственных GPU, сначала снимите трассу KVTrace за рабочий день. Заодно проверьте дешёвые варианты: prefix caching и привязку сессий. Общий кэш оправдан, когда расчёт показывает, что экономия покрывает цену узлов. Сам навык лишь автоматизирует рутину и спрашивает разрешение перед каждым значимым действием.
- 21 нояб. 2026 г.AG-UI 1.0 даёт ИИ-агентам единый язык для связи с приложением: 31 тип событий
- 21 нояб. 2026 г.OpenAI запустила ChatGPT Wallet: агенты покупают, не видя номер карты
- 21 нояб. 2026 г.США вложили в рекламу ChatGPT $70,7 млн за октябрь — на 127% больше, чем в апреле
- 21 нояб. 2026 г.ONNX Runtime пропал с GitHub: Microsoft скрыла репозитории после взлома пакета
Вопросы и ответы по материалу
Что известно по теме: четыре сценария работы навыка?
AWS показывает четыре диалога с агентом. В первом агент диагностирует медленный первый токен. Он сначала ищет решения без новой инфраструктуры. Если вы отключили prefix caching, достаточно включить его обратно. Если доля попаданий в локальный кэш GPU уже выше 90% при привязке сессий к серверу, общий кэш может не понадобиться. Ещё агент предупреждает о риске для мультитенантности: по времени ответа один клиент может догадаться, что другой присылал такой же текст.
Что известно по теме: KVTrace, настройка и отладка?
KVTrace записывает события KV-кэша из vLLM или SGLang и потом проигрывает их офлайн на общем кэше разных размеров. В записях лежат хеши блоков и число токенов, а не тексты промптов. Хеши строятся из содержимого, поэтому для чувствительных данных AWS советует флаг --anonymize-key-file. Записывать лучше на всех серверах за репрезентативный период, например за рабочий день. Отчёт рекомендует наименьший объём, который даёт 90% от потолка экономии.
Что известно по теме: ограничения и практический вывод?
Требования жёсткие: инстансы с поддержкой EFA RDMA write (например, p5), LMCache 0.5.8rc1 или новее, vLLM 0.11.1+ или SGLang 0.5.13+, ElastiCache for Valkey 9.1+ на узлах cache.i8ge.48xlarge. Освободившееся время GPU превращается в деньги, только если вы сокращаете число серверов или обслуживаете больше трафика на тех же. Если у вас длинные многоходовые диалоги, RAG или возобновляемые агентские сессии на собственных GPU, сначала снимите трассу KVTrace за рабочий день.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.