OpenAI GPT-6 Sol, Luna и Astra стали доступны в Bedrock из пяти регионов Азии

Amazon Web Services объяснила, как запускать три модели семейства OpenAI GPT-6 (Sol, Luna и Astra) в Amazon Bedrock из пяти азиатских локаций: Сингапура, Джакарты, Таиланда, Малайзии и Тайбэя. Механизм называется global cross-Region inference. Приложение обращается к Bedrock в своём регионе, а сам вывод выполняется там, где у AWS есть свободная ёмкость. Для компаний, у которых местных мощностей под такие модели не хватает, это самый короткий путь к GPT-6 без переезда инфраструктуры.

Как это устроено

Разработчик вызывает не конкретную модель в конкретном регионе, а глобальный inference-профиль. Bedrock сам распределяет запрос по доступным регионам AWS. Для клиента точкой входа остаётся исходный регион, например Сингапур. Там же остаются логи, метрики и квоты. Такая схема помогает пережить пики нагрузки: упираться в потолок одного региона приходится реже.

AWS описывает два способа обращения:

• Converse API, единый интерфейс Bedrock для разных моделей. Он подходит, если в стеке уже есть другие модели на этой платформе.
• OpenAI-совместимый API. Он позволяет перенести код, написанный под OpenAI SDK, почти без правок: меняются endpoint и способ аутентификации.

Второй вариант интереснее для команд, которые давно работают с OpenAI напрямую и хотят перевести биллинг, аудит и контроль доступа в AWS.

Права, квоты и мониторинг

Больше всего подводных камней здесь не в коде, а в политиках доступа. Руководство отдельно разбирает разрешения IAM и SCP, то есть политики на уровне организации. Глобальный профиль отправляет трафик за пределы исходного региона. Если в организации SCP жёстко ограничивают список разрешённых регионов, вызов может упасть с ошибкой доступа, хотя роль выдана правильно. Эти ограничения нужно проверить до запуска. Для регулируемых отраслей это ещё и вопрос комплаенса: данные на время обработки могут оказаться в другой юрисдикции.

То же касается квот. Лимиты считаются от исходного региона, поэтому размер квоты нужно закладывать заранее, исходя из реального профиля трафика:

• пиковое число запросов в минуту;
• средняя длина промпта и ответа в токенах;
• запас на повторы при ошибках и троттлинге;
• разный темп расхода квоты для Sol, Luna и Astra.

Точные лимиты для каждой модели в публикации стоит сверять с актуальной документацией Bedrock, они меняются.

Мониторинг тоже привязан к исходному региону. Метрики вызовов, задержек и ошибок собираются там, откуда пришёл запрос. Отдельно искать следы выполнения в других регионах не нужно, и это упрощает эксплуатацию.

С чего начать на практике

Начинать лучше с аудита политик, а не с кода. Проверьте SCP и IAM-роли: разрешён ли вызов глобального inference-профиля и не блокируют ли организационные правила трафик за пределами региона. Затем оцените нагрузку и запросите квоты с запасом. Для этого прогоните реальные промпты через тестовый аккаунт и снимите распределение токенов.

Дальше разумно развести модели по задачам. Названия Sol, Luna и Astra намекают на разные профили, но в самой публикации нет данных, которые позволили бы их сравнить. Выбор между ними лучше делать по собственным бенчмаркам: цена за токен, задержка и качество на ваших данных. Если приложение уже написано под OpenAI SDK, проще всего начать с OpenAI-совместимого API, а для мультимодельных платформ подойдёт Converse.

И последнее: заранее решите, допустима ли для ваших данных обработка вне исходной юрисдикции. Если нет, глобальный профиль вам не подходит, и придётся смотреть региональные варианты.