AWS показала, как дать разработчикам Claude с личным ключом и лимитом $250 за 7 дней
Если вся команда ходит в Claude через Amazon Bedrock, финансисты не видят, кто сколько потратил. AWS советует поставить между редактором кода и Bedrock прокси LiteLLM с интерфейсом как у OpenAI: у каждого разработчика свой ключ. В примере на ключ действует лимит $250 за скользящие 7 дней. Так траты на ИИ-ассистентов видны по каждому человеку, а не одной суммой в счёте.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте компанию, где разработчики подключили Claude Code, Continue или Cursor к моделям Claude через Amazon Bedrock, облачный сервис AWS с готовыми языковыми моделями. Через месяц приходит один общий счёт за токены, и никто не может сказать, какая команда или какой человек его набрал. Платформенным инженерам нужно видеть задержки и ошибки, финансистам нужно раскидать расходы по проектам, безопасникам нужны единые правила доступа. AWS опубликовала разбор, как закрыть все три задачи одним шлюзом: это промежуточный сервер между инструментами разработчиков и Bedrock. Пример с лимитом $250 на ключ за скользящие 7 дней в статье учебный, цифры в конфиге можно менять.
Как устроен шлюз
Основа — прокси LiteLLM, который работает как контейнер на AWS Fargate (сервис запуска контейнеров без управления серверами) и выдаёт себя за API OpenAI. Разработчик вписывает в своём инструменте один адрес и личный ключ. С Bedrock он напрямую не общается. Название модели в настройках, например claude-sonnet-4-20250514, LiteLLM сам превращает в ссылку на нужный профиль в Bedrock и ходит туда с помощью IAM-роли задачи Fargate.
Вокруг прокси собран привычный набор сервисов:
- PostgreSQL на Amazon RDS хранит ключи и учёт расходов.
- ElastiCache for Valkey кэширует ответы и согласует лимиты запросов между несколькими копиями шлюза.
- Secrets Manager хранит мастер-ключ и пароль к базе, их нельзя писать в config.yaml.
- Langfuse с открытым кодом показывает промпты, задержки и помогает разбирать сбои.
- CloudWatch собирает метрики запросов в минуту (RPM) и токенов в минуту (TPM) и сигнал о приближении к квоте.
Для каждой модели создаётся отдельный Application Inference Profile, то есть именованная точка входа в Bedrock. Он даёт изолированную квоту на модель и тонкие права доступа. Он же отделяет конфиг LiteLLM от версий моделей в Bedrock. Поэтому модель можно заменить, добавить запасную или сменить провайдера, а у разработчиков ничего не поменяется.
Операторы в портале задают политику расходов, а разработчики сами выпускают себе ключи в её рамках. Портал можно связать с корпоративным SSO.
Лимиты и подводные камни
Бюджет задаётся в конфиге: max_budget: 250 и budget_duration: 7d дают $250 на ключ в скользящем окне 7 дней. Для длинных режимов с extended thinking в примере таймаут поднят до 900 секунд, то есть 15 минут.
Авторы перечисляют ловушки, на которых легко потерять часы:
- Если модель указана сырым ARN профиля, LiteLLM не находит её в своей таблице цен и считает стоимость нулевой. Расход ключа остаётся нулём, и бюджеты никогда не срабатывают. Цены за токен нужно прописать вручную в блоке model_info.
- Для глобального профиля в поле copyFrom нужен ARN системного профиля с префиксом global., а не ARN самой модели. Иначе получится профиль для одного региона без маршрутизации между регионами.
- В IAM-политике мало указать сам профиль. Нужны ещё ARN базовой модели в регионе и по маске для других регионов. Иначе при вызове придёт ошибка «not authorized to perform bedrock:InvokeModel».
AWS рекомендует глобальный cross-Region inference, если выбранные модели его поддерживают и политика компании разрешает обработку запросов в разных регионах мира. Тогда Bedrock сам направляет запрос туда, где есть свободная мощность, и это может быть дешевле, чем в географическом варианте. Если данные должны оставаться в одной географии, берите географический профиль, например только для регионов США.
Ограничения
Бесплатная версия LiteLLM AI Gateway по документации подходит для пилота и рассчитана на пять пользователей, дальше нужна лицензия. Виртуальные ключи есть и в бесплатной версии, но самовыдача ключей из статьи требует LiteLLM Enterprise. В неё также входят SSO, аудит-логи, делегированные роли администраторов и поддержка. Bedrock Guardrails с фильтрацией контента и проверкой обоснованности ответов в примере не рассматриваются, но для продакшна их нужно добавить.
Практический вывод: если в компании больше пяти разработчиков с ИИ-ассистентами, шлюз даёт контроль расходов и наблюдаемость без правок в каждом инструменте. Перед запуском стоит проверить три вещи: цены токенов в model_info, права IAM и то, куда уходят промпты в Langfuse, ведь в трассировках лежат тексты запросов и ответов.
- 21 нояб. 2026 г.Разработчик поручил Claude поставить 900 приложений и собрал бесплатный чистильщик Mac
- 21 нояб. 2026 г.Apple готовит ИИ-агента и усложнила доступ чужим: разрешение теперь в 14 шагов, а не в 4
- 21 нояб. 2026 г.Qwen3-0.6B дообучили на Mac mini: ошибок в ответах стало 3 из 30 вместо 9
- 21 нояб. 2026 г.Программист перестал быть диспетчером ИИ-агентов: рутину передач взял Multica
Вопросы и ответы по материалу
Что известно по теме: как устроен шлюз?
Основа — прокси LiteLLM, который работает как контейнер на AWS Fargate (сервис запуска контейнеров без управления серверами) и выдаёт себя за API OpenAI. Разработчик вписывает в своём инструменте один адрес и личный ключ. С Bedrock он напрямую не общается. Название модели в настройках, например claude-sonnet-4-20250514, LiteLLM сам превращает в ссылку на нужный профиль в Bedrock и ходит туда с помощью IAM-роли задачи Fargate.
Что известно по теме: лимиты и подводные камни?
Бюджет задаётся в конфиге: max_budget: 250 и budget_duration: 7d дают $250 на ключ в скользящем окне 7 дней. Для длинных режимов с extended thinking в примере таймаут поднят до 900 секунд, то есть 15 минут. Авторы перечисляют ловушки, на которых легко потерять часы: Если модель указана сырым ARN профиля, LiteLLM не находит её в своей таблице цен и считает стоимость нулевой. Расход ключа остаётся нулём, и бюджеты никогда не срабатывают. Цены за токен нужно прописать вручную в блоке model_info.
Что известно по теме: ограничения?
Бесплатная версия LiteLLM AI Gateway по документации подходит для пилота и рассчитана на пять пользователей, дальше нужна лицензия. Виртуальные ключи есть и в бесплатной версии, но самовыдача ключей из статьи требует LiteLLM Enterprise. В неё также входят SSO, аудит-логи, делегированные роли администраторов и поддержка. Bedrock Guardrails с фильтрацией контента и проверкой обоснованности ответов в примере не рассматриваются, но для продакшна их нужно добавить.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.