Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РазборРазбор · На радарAWS Machine Learning Blog→ оригинал

ArisGlobal урезала счёт за ИИ на 40%, кэшируя общий промпт вместо PDF

ИИ ArisGlobal разбирает отчёты о побочных эффектах лекарств, а общий промпт для фармкомпаний вырос с 72 до 180 тысяч токенов. Сначала кэшировали PDF на 10–200 страниц, но он уникален для каждого случая. Теперь первыми идут общие правила, и 65% входных токенов берутся из кэша, а счёт за инференс снизился примерно на 40%. Вывод: кэшируйте повторяющееся, а не самое большое.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
ArisGlobal урезала счёт за ИИ на 40%, кэшируя общий промпт вместо PDF
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Эффективная цена входных токенов упала примерно на 50%
Ключевой факт #2Задержка кэшированных запросов снизилась до 25%
Ключевой факт #3Клиентов стало на 15% больше без пропорционального роста расходов

Если вы делаете ИИ-продукт для нескольких корпоративных клиентов, то знаете проблему: системный промпт со временем пухнет. Каждый клиент приносит свои правила и примеры, а модель заново читает их в каждом запросе и берёт за это деньги. Компания ArisGlobal, поставщик софта для фармацевтики, описала в блоге AWS, как сократила месячный счёт за инференс (работу модели) примерно на 40%. Она не уменьшала промпт, а поменяла порядок его частей. Amazon Bedrock умеет кэшировать начало запроса: если следующий запрос начинается с того же текста, этот кусок читается из кэша по сниженной цене. Раньше ArisGlobal кэшировала PDF-документ, который меняется в каждом случае, а общие инструкции оплачивала полностью. Теперь из кэша приходят 65% входных токенов, а эффективная цена входа упала примерно на 50%.

Откуда взялся рост счёта

ИИ-движок NavaX от ArisGlobal работает на Amazon Bedrock с моделями Claude. Он обрабатывает сообщения о нежелательных реакциях на лекарства: это многостраничный PDF на 10–200 страниц. Из него агент извлекает около 130 полей: данные пациента, подозреваемый препарат, хронологию событий, критерии серьёзности и регуляторную классификацию. Он делает это серией запросов, и каждый отвечает за свой раздел формы.

В каждом запросе повторяются четыре блока: системные инструкции, правила конкретной фармкомпании, схема извлечения с примерами и сам документ. Пока клиент был один, промпт был компактным. Потом пришли новые заказчики, и у каждого нашлись свои требования: например, как фиксировать начало реакции, какой формат нужен для ЕС, FDA или японского регулятора, как оценивать серьёзность случая. За 6 месяцев общая часть промпта выросла с 72 до 180 тысяч токенов, то есть на 150%. Стоимость обработки одного случая выросла больше чем на 200%, потому что эта часть заново обрабатывалась в каждом запросе.

Что поменяли

Кэш в Bedrock работает по префиксу: кэшируется непрерывный кусок от начала запроса до контрольной точки. Всё после точки оплачивается по полной цене. Сначала команда логично кэшировала самый большой блок, то есть документ, и ставила его первым. Внутри одного случая это работало: первый запрос записывал PDF в кэш, остальные читали его дёшево. Но следующий случай приносил другой PDF, и кэш начинался заново. Раздутый общий промпт при этом стоял после контрольной точки и оплачивался целиком на каждом запросе.

Новая схема переставила блоки. Сначала идёт общий префикс: системные правила, схема, примеры. Затем контрольная точка, и только после неё документ и вопрос про конкретный раздел. Тот же самый чекпоинт теперь даёт кэш, который читают все запросы, все случаи и все клиенты с этим агентом. Простое правило из статьи: кэшируйте то, что повторяется, а не то, что больше. Документ на 200 страниц велик, но почти не переиспользуется.

Кэш по умолчанию живёт 5 минут, и каждое попадание продлевает срок. В активных аккаунтах новый случай приходит примерно раз в 5 минут на клиента, а клиентов несколько, поэтому общий префикс остаётся «тёплым» в рабочие часы. У части моделей можно выбрать TTL в 1 час.

Цифры и ограничения

По данным ArisGlobal, переданным AWS, при объёме более 19 миллиардов токенов в месяц получилось следующее:

  • 65% входных токенов типичного запроса берутся из кэша;
  • эффективная цена входа ниже примерно на 50%;
  • общий месячный счёт за инференс ниже примерно на 40%;
  • задержка кэшированных запросов сократилась до 25%;
  • к платформе подключили примерно на 15% больше корпоративных клиентов без пропорционального роста затрат.

Маршрутизация внутри ЕС через кросс-региональный инференс осталась прежней. В CloudWatch чтение из кэша в периоды нагрузки примерно в 10 раз превышает запись.

Есть оговорки. Это данные самой компании, и AWS прямо пишет, что результат зависит от структуры промпта, трафика и доли попаданий в кэш. Команда отказалась от повторного использования документа внутри случая, поэтому PDF теперь обрабатывается по полной цене в каждом запросе. Второй чекпоинт после документа не нужен: такая запись уникальна для одного случая. Для Claude Sonnet 4.5 минимальный размер кэшируемого префикса составляет 1 024 токена, а в запросе допускается до четырёх чекпоинтов.

Что делать на практике

Поставьте в начало запроса всё стабильное: описания инструментов, системные инструкции, схемы и примеры. Данные клиента, документ и вопрос оставьте после контрольной точки. Следите, чтобы префикс совпадал до байта: временная метка, случайный ID или другой порядок инструментов дадут промах кэша. Наконец, смотрите в CloudWatch на чтение и запись кэша. Если доля попаданий устойчиво падает ниже вашего обычного уровня (у ArisGlobal это 65%), что-то сломало префикс.

Для команд с многоклиентскими агентами вывод прямой: прежде чем урезать промпт, проверьте, что стоит перед контрольной точкой кэша. Перестановка блоков не требует переписывать пайплайн, а на больших объёмах окупается сразу.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: откуда взялся рост счёта?

ИИ-движок NavaX от ArisGlobal работает на Amazon Bedrock с моделями Claude. Он обрабатывает сообщения о нежелательных реакциях на лекарства: это многостраничный PDF на 10–200 страниц. Из него агент извлекает около 130 полей: данные пациента, подозреваемый препарат, хронологию событий, критерии серьёзности и регуляторную классификацию. Он делает это серией запросов, и каждый отвечает за свой раздел формы.

Что известно по теме: что поменяли?

Кэш в Bedrock работает по префиксу: кэшируется непрерывный кусок от начала запроса до контрольной точки. Всё после точки оплачивается по полной цене. Сначала команда логично кэшировала самый большой блок, то есть документ, и ставила его первым. Внутри одного случая это работало: первый запрос записывал PDF в кэш, остальные читали его дёшево. Но следующий случай приносил другой PDF, и кэш начинался заново. Раздутый общий промпт при этом стоял после контрольной точки и оплачивался целиком на каждом запросе.

Что известно по теме: цифры и ограничения?

По данным ArisGlobal, переданным AWS, при объёме более 19 миллиардов токенов в месяц получилось следующее: 65% входных токенов типичного запроса берутся из кэша; эффективная цена входа ниже примерно на 50%; общий месячный счёт за инференс ниже примерно на 40%; задержка кэшированных запросов сократилась до 25%; к платформе подключили примерно на 15% больше корпоративных клиентов без пропорционального роста затрат. Маршрутизация внутри ЕС через кросс-региональный инференс осталась прежней.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…