ArisGlobal урезала счёт за ИИ на 40%, кэшируя общий промпт вместо PDF
ИИ ArisGlobal разбирает отчёты о побочных эффектах лекарств, а общий промпт для фармкомпаний вырос с 72 до 180 тысяч токенов. Сначала кэшировали PDF на 10–200 страниц, но он уникален для каждого случая. Теперь первыми идут общие правила, и 65% входных токенов берутся из кэша, а счёт за инференс снизился примерно на 40%. Вывод: кэшируйте повторяющееся, а не самое большое.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Если вы делаете ИИ-продукт для нескольких корпоративных клиентов, то знаете проблему: системный промпт со временем пухнет. Каждый клиент приносит свои правила и примеры, а модель заново читает их в каждом запросе и берёт за это деньги. Компания ArisGlobal, поставщик софта для фармацевтики, описала в блоге AWS, как сократила месячный счёт за инференс (работу модели) примерно на 40%. Она не уменьшала промпт, а поменяла порядок его частей. Amazon Bedrock умеет кэшировать начало запроса: если следующий запрос начинается с того же текста, этот кусок читается из кэша по сниженной цене. Раньше ArisGlobal кэшировала PDF-документ, который меняется в каждом случае, а общие инструкции оплачивала полностью. Теперь из кэша приходят 65% входных токенов, а эффективная цена входа упала примерно на 50%.
Откуда взялся рост счёта
ИИ-движок NavaX от ArisGlobal работает на Amazon Bedrock с моделями Claude. Он обрабатывает сообщения о нежелательных реакциях на лекарства: это многостраничный PDF на 10–200 страниц. Из него агент извлекает около 130 полей: данные пациента, подозреваемый препарат, хронологию событий, критерии серьёзности и регуляторную классификацию. Он делает это серией запросов, и каждый отвечает за свой раздел формы.
В каждом запросе повторяются четыре блока: системные инструкции, правила конкретной фармкомпании, схема извлечения с примерами и сам документ. Пока клиент был один, промпт был компактным. Потом пришли новые заказчики, и у каждого нашлись свои требования: например, как фиксировать начало реакции, какой формат нужен для ЕС, FDA или японского регулятора, как оценивать серьёзность случая. За 6 месяцев общая часть промпта выросла с 72 до 180 тысяч токенов, то есть на 150%. Стоимость обработки одного случая выросла больше чем на 200%, потому что эта часть заново обрабатывалась в каждом запросе.
Что поменяли
Кэш в Bedrock работает по префиксу: кэшируется непрерывный кусок от начала запроса до контрольной точки. Всё после точки оплачивается по полной цене. Сначала команда логично кэшировала самый большой блок, то есть документ, и ставила его первым. Внутри одного случая это работало: первый запрос записывал PDF в кэш, остальные читали его дёшево. Но следующий случай приносил другой PDF, и кэш начинался заново. Раздутый общий промпт при этом стоял после контрольной точки и оплачивался целиком на каждом запросе.
Новая схема переставила блоки. Сначала идёт общий префикс: системные правила, схема, примеры. Затем контрольная точка, и только после неё документ и вопрос про конкретный раздел. Тот же самый чекпоинт теперь даёт кэш, который читают все запросы, все случаи и все клиенты с этим агентом. Простое правило из статьи: кэшируйте то, что повторяется, а не то, что больше. Документ на 200 страниц велик, но почти не переиспользуется.
Кэш по умолчанию живёт 5 минут, и каждое попадание продлевает срок. В активных аккаунтах новый случай приходит примерно раз в 5 минут на клиента, а клиентов несколько, поэтому общий префикс остаётся «тёплым» в рабочие часы. У части моделей можно выбрать TTL в 1 час.
Цифры и ограничения
По данным ArisGlobal, переданным AWS, при объёме более 19 миллиардов токенов в месяц получилось следующее:
- 65% входных токенов типичного запроса берутся из кэша;
- эффективная цена входа ниже примерно на 50%;
- общий месячный счёт за инференс ниже примерно на 40%;
- задержка кэшированных запросов сократилась до 25%;
- к платформе подключили примерно на 15% больше корпоративных клиентов без пропорционального роста затрат.
Маршрутизация внутри ЕС через кросс-региональный инференс осталась прежней. В CloudWatch чтение из кэша в периоды нагрузки примерно в 10 раз превышает запись.
Есть оговорки. Это данные самой компании, и AWS прямо пишет, что результат зависит от структуры промпта, трафика и доли попаданий в кэш. Команда отказалась от повторного использования документа внутри случая, поэтому PDF теперь обрабатывается по полной цене в каждом запросе. Второй чекпоинт после документа не нужен: такая запись уникальна для одного случая. Для Claude Sonnet 4.5 минимальный размер кэшируемого префикса составляет 1 024 токена, а в запросе допускается до четырёх чекпоинтов.
Что делать на практике
Поставьте в начало запроса всё стабильное: описания инструментов, системные инструкции, схемы и примеры. Данные клиента, документ и вопрос оставьте после контрольной точки. Следите, чтобы префикс совпадал до байта: временная метка, случайный ID или другой порядок инструментов дадут промах кэша. Наконец, смотрите в CloudWatch на чтение и запись кэша. Если доля попаданий устойчиво падает ниже вашего обычного уровня (у ArisGlobal это 65%), что-то сломало префикс.
Для команд с многоклиентскими агентами вывод прямой: прежде чем урезать промпт, проверьте, что стоит перед контрольной точкой кэша. Перестановка блоков не требует переписывать пайплайн, а на больших объёмах окупается сразу.
- 18 нояб. 2026 г.ИИ-агент оставил SOC 27 минут на реакцию вместо 53 у junior-атакующего
- 18 нояб. 2026 г.Гарри Тан удалил скилл /investigate: 50,0% против 47,2% успеха, фикс дороже на 43%
- 18 нояб. 2026 г.После бана автор запустил команду агентов в Kimi, Codex и OpenCode: прогон от $0,30
- 18 нояб. 2026 г.Плагин TokenEconomizer снизил расходы ИИ-агентов для кода на 18,4–30,9% без смены модели
Вопросы и ответы по материалу
Что известно по теме: откуда взялся рост счёта?
ИИ-движок NavaX от ArisGlobal работает на Amazon Bedrock с моделями Claude. Он обрабатывает сообщения о нежелательных реакциях на лекарства: это многостраничный PDF на 10–200 страниц. Из него агент извлекает около 130 полей: данные пациента, подозреваемый препарат, хронологию событий, критерии серьёзности и регуляторную классификацию. Он делает это серией запросов, и каждый отвечает за свой раздел формы.
Что известно по теме: что поменяли?
Кэш в Bedrock работает по префиксу: кэшируется непрерывный кусок от начала запроса до контрольной точки. Всё после точки оплачивается по полной цене. Сначала команда логично кэшировала самый большой блок, то есть документ, и ставила его первым. Внутри одного случая это работало: первый запрос записывал PDF в кэш, остальные читали его дёшево. Но следующий случай приносил другой PDF, и кэш начинался заново. Раздутый общий промпт при этом стоял после контрольной точки и оплачивался целиком на каждом запросе.
Что известно по теме: цифры и ограничения?
По данным ArisGlobal, переданным AWS, при объёме более 19 миллиардов токенов в месяц получилось следующее: 65% входных токенов типичного запроса берутся из кэша; эффективная цена входа ниже примерно на 50%; общий месячный счёт за инференс ниже примерно на 40%; задержка кэшированных запросов сократилась до 25%; к платформе подключили примерно на 15% больше корпоративных клиентов без пропорционального роста затрат. Маршрутизация внутри ЕС через кросс-региональный инференс осталась прежней.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.