Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарAWS Machine Learning Blog→ оригинал

AWS показала, как дать разработчикам Claude с личным ключом и лимитом $250 за 7 дней

Если вся команда ходит в Claude через Amazon Bedrock, финансисты не видят, кто сколько потратил. AWS советует поставить между редактором кода и Bedrock прокси LiteLLM с интерфейсом как у OpenAI: у каждого разработчика свой ключ. В примере на ключ действует лимит $250 за скользящие 7 дней. Так траты на ИИ-ассистентов видны по каждому человеку, а не одной суммой в счёте.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS показала, как дать разработчикам Claude с личным ключом и лимитом $250 за 7 дней
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Ключ разработчик выпускает сам в портале с корпоративным SSO
Ключевой факт #2Самовыдача ключей работает только в платной LiteLLM Enterprise
Ключевой факт #3Бесплатная версия LiteLLM рассчитана на пилот до пяти человек

Представьте компанию, где разработчики подключили Claude Code, Continue или Cursor к моделям Claude через Amazon Bedrock, облачный сервис AWS с готовыми языковыми моделями. Через месяц приходит один общий счёт за токены, и никто не может сказать, какая команда или какой человек его набрал. Платформенным инженерам нужно видеть задержки и ошибки, финансистам нужно раскидать расходы по проектам, безопасникам нужны единые правила доступа. AWS опубликовала разбор, как закрыть все три задачи одним шлюзом: это промежуточный сервер между инструментами разработчиков и Bedrock. Пример с лимитом $250 на ключ за скользящие 7 дней в статье учебный, цифры в конфиге можно менять.

Как устроен шлюз

Основа — прокси LiteLLM, который работает как контейнер на AWS Fargate (сервис запуска контейнеров без управления серверами) и выдаёт себя за API OpenAI. Разработчик вписывает в своём инструменте один адрес и личный ключ. С Bedrock он напрямую не общается. Название модели в настройках, например claude-sonnet-4-20250514, LiteLLM сам превращает в ссылку на нужный профиль в Bedrock и ходит туда с помощью IAM-роли задачи Fargate.

Вокруг прокси собран привычный набор сервисов:

  • PostgreSQL на Amazon RDS хранит ключи и учёт расходов.
  • ElastiCache for Valkey кэширует ответы и согласует лимиты запросов между несколькими копиями шлюза.
  • Secrets Manager хранит мастер-ключ и пароль к базе, их нельзя писать в config.yaml.
  • Langfuse с открытым кодом показывает промпты, задержки и помогает разбирать сбои.
  • CloudWatch собирает метрики запросов в минуту (RPM) и токенов в минуту (TPM) и сигнал о приближении к квоте.

Для каждой модели создаётся отдельный Application Inference Profile, то есть именованная точка входа в Bedrock. Он даёт изолированную квоту на модель и тонкие права доступа. Он же отделяет конфиг LiteLLM от версий моделей в Bedrock. Поэтому модель можно заменить, добавить запасную или сменить провайдера, а у разработчиков ничего не поменяется.

Операторы в портале задают политику расходов, а разработчики сами выпускают себе ключи в её рамках. Портал можно связать с корпоративным SSO.

Лимиты и подводные камни

Бюджет задаётся в конфиге: max_budget: 250 и budget_duration: 7d дают $250 на ключ в скользящем окне 7 дней. Для длинных режимов с extended thinking в примере таймаут поднят до 900 секунд, то есть 15 минут.

Авторы перечисляют ловушки, на которых легко потерять часы:

  • Если модель указана сырым ARN профиля, LiteLLM не находит её в своей таблице цен и считает стоимость нулевой. Расход ключа остаётся нулём, и бюджеты никогда не срабатывают. Цены за токен нужно прописать вручную в блоке model_info.
  • Для глобального профиля в поле copyFrom нужен ARN системного профиля с префиксом global., а не ARN самой модели. Иначе получится профиль для одного региона без маршрутизации между регионами.
  • В IAM-политике мало указать сам профиль. Нужны ещё ARN базовой модели в регионе и по маске для других регионов. Иначе при вызове придёт ошибка «not authorized to perform bedrock:InvokeModel».

AWS рекомендует глобальный cross-Region inference, если выбранные модели его поддерживают и политика компании разрешает обработку запросов в разных регионах мира. Тогда Bedrock сам направляет запрос туда, где есть свободная мощность, и это может быть дешевле, чем в географическом варианте. Если данные должны оставаться в одной географии, берите географический профиль, например только для регионов США.

Ограничения

Бесплатная версия LiteLLM AI Gateway по документации подходит для пилота и рассчитана на пять пользователей, дальше нужна лицензия. Виртуальные ключи есть и в бесплатной версии, но самовыдача ключей из статьи требует LiteLLM Enterprise. В неё также входят SSO, аудит-логи, делегированные роли администраторов и поддержка. Bedrock Guardrails с фильтрацией контента и проверкой обоснованности ответов в примере не рассматриваются, но для продакшна их нужно добавить.

Практический вывод: если в компании больше пяти разработчиков с ИИ-ассистентами, шлюз даёт контроль расходов и наблюдаемость без правок в каждом инструменте. Перед запуском стоит проверить три вещи: цены токенов в model_info, права IAM и то, куда уходят промпты в Langfuse, ведь в трассировках лежат тексты запросов и ответов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен шлюз?

Основа — прокси LiteLLM, который работает как контейнер на AWS Fargate (сервис запуска контейнеров без управления серверами) и выдаёт себя за API OpenAI. Разработчик вписывает в своём инструменте один адрес и личный ключ. С Bedrock он напрямую не общается. Название модели в настройках, например claude-sonnet-4-20250514, LiteLLM сам превращает в ссылку на нужный профиль в Bedrock и ходит туда с помощью IAM-роли задачи Fargate.

Что известно по теме: лимиты и подводные камни?

Бюджет задаётся в конфиге: max_budget: 250 и budget_duration: 7d дают $250 на ключ в скользящем окне 7 дней. Для длинных режимов с extended thinking в примере таймаут поднят до 900 секунд, то есть 15 минут. Авторы перечисляют ловушки, на которых легко потерять часы: Если модель указана сырым ARN профиля, LiteLLM не находит её в своей таблице цен и считает стоимость нулевой. Расход ключа остаётся нулём, и бюджеты никогда не срабатывают. Цены за токен нужно прописать вручную в блоке model_info.

Что известно по теме: ограничения?

Бесплатная версия LiteLLM AI Gateway по документации подходит для пилота и рассчитана на пять пользователей, дальше нужна лицензия. Виртуальные ключи есть и в бесплатной версии, но самовыдача ключей из статьи требует LiteLLM Enterprise. В неё также входят SSO, аудит-логи, делегированные роли администраторов и поддержка. Bedrock Guardrails с фильтрацией контента и проверкой обоснованности ответов в примере не рассматриваются, но для продакшна их нужно добавить.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…