Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарAWS Machine Learning Blog→ оригинал

Salesforce через роутер SageMaker за 3 минуты перевела 78% трафика в другой регион

Salesforce держит модели в 30+ регионах AWS: когда в одном не хватало GPU, клиенты получали ошибки, пока в соседнем серверы простаивали. Теперь запрос идёт в управляемый роутер SageMaker AI, и он сам выбирает живой эндпоинт. В тесте перегрузили us-west-2 (Орегон): через 3 минуты после первых ошибок 78% трафика обслуживал us-east-2 (Огайо). Свои health-check и ретраи между регионами писать не нужно.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Salesforce через роутер SageMaker за 3 минуты перевела 78% трафика в другой регион
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Перегруженный регион отвечал за 45–58 секунд вместо 0,2 секунды
Ключевой факт #2Переезд в другой регион добавил менее 100 мс задержки
Ключевой факт #3Возврат трафика после восстановления занял около 10 минут

Представьте, что ваш классификатор токсичности развёрнут в Орегоне и в Огайо. В Орегоне у модели час пик, все GPU-инстансы заняты, запросы падают с ошибками, а в Огайо серверы простаивают. Именно с этим столкнулась Salesforce: её модели работают в 30+ регионах AWS и сотнях аккаунтов, и нехватка мощностей в одном регионе превращалась в недоступность сервиса для клиентов.

Раньше перенаправлением трафика занимался самописный шлюз, а теперь это делает управляемый роутер Amazon SageMaker AI (cross-Region inference routing). В тесте команда нарочно забила эндпоинт в us-west-2 (Орегон) до насыщения. Примерно через две минуты после первых ошибок первые запросы дошли до us-east-2 (Огайо), а ещё через минуту, то есть примерно через 3 минуты, там обрабатывалось около 78% тестового трафика.

Если вы держите модели в нескольких регионах, этот опыт показывает, что failover можно отдать платформе вместо собственного кода.

Почему нехватка мощностей превращается в простой

Команда Agentforce Foundation обслуживает модели для Agentforce и Salesforce Trust Layer: часть обучена внутри компании, часть открытая. Запросы клиента обрабатываются в регионе, откуда они пришли, а ёмкость закладывается под трафик каждого клиента. У всех свои часы пик, и они часто пересекаются. Закладывать мощность под сумму пиков безопасно, но слишком дорого. К тому же клиенты внезапно подключают новые бизнес-подразделения, и парк приходится наращивать быстро, регион за регионом. В итоге ёмкость дробится: где-то инстансы простаивают, где-то их не хватает.

Раньше лишний трафик в другие регионы отправлял собственный Internal Gateway с простыми health-check, ретраями и переключением регионов. У схемы было два изъяна. Шлюз не знал, есть ли свободное место у соседа. Кроме того, межрегиональный трафик выходил из VPC через NAT и интернет-шлюз по публичной сети AWS. Ещё команда опасалась каскадного отказа: переброс трафика в разгар аварии может перегрузить следующий регион, поэтому нужен лимит на межрегиональную долю.

Как работает роутер

Роутер — это региональный ресурс SageMaker AI в вашем аккаунте. Приложение вызывает его вместо эндпоинта и передаёт имя routing target с тем же телом запроса и content type. Routing target — это логическая модель, например классификатор токсичности, со списком эндпоинтов и inference components по ARN. Они могут лежать в другом регионе или в чужом аккаунте. Доступ выдаёт владелец эндпоинта через resource-based policy с условием на конкретный роутер, и отозвать его можно в любой момент.

Пока локальный эндпоинт справляется, запросы остаются в своём регионе. Здоровье каждого адресата роутер оценивает по недавним результатам: ошибки платформы, 5xx из контейнера модели, троттлинг и таймауты его ухудшают. Трафик начинает смещаться обычно примерно через минуту. Если адресат не выполнил запрос, роутер один раз повторяет его на другом. Ошибки клиента вроде неверного входа трафик не двигают, как и задержка: медленный ответ может быть просто длинным промптом. После восстановления трафик возвращается медленнее, чем уходил, чтобы не раскачивать систему.

Важно: роутер не разворачивает модели и не добавляет инстансы. Он использует уже задеплоенную ёмкость, а автоскейлинг остаётся за каждым эндпоинтом.

Запросы с флагом data residency Salesforce жёстко привязывает к локальному routing target с единственным адресатом, так что они не пересекут границу региона. Остальные идут в роутер. Собственных ретраев шлюз не добавляет, чтобы попытки не множились во время аварии, а таймаут рассчитан с запасом на межрегиональный путь.

Что показал тест

Salesforce сначала проверила маршрутизацию внутри us-west-2, затем добавила эндпоинт в us-east-2 из другого аккаунта. Для наблюдаемости каждый ответ несёт два поля: InvokedRoutedResourceArn и RoutingReason (local-preferred, failover, capacity-available или only-healthy). В ARN зашиты регион и аккаунт, так что по одной строке лога видно, где обработан запрос и почему.

В тесте локальный эндпоинт в us-west-2 забили до насыщения. Около пяти минут медианная задержка проб выросла с 0,2 до 45–58 секунд, а трафик оставался на месте: задержка сама по себе его не двигает. Когда запросы начали упираться в 60-секундный таймаут контейнера и падать с ошибками, роутер среагировал. Первые запросы дошли до us-east-2 примерно через две минуты после первых ошибок, ещё через минуту там обслуживалось около 78% трафика пробы. Остальные 20–25% оставались локально, чтобы роутер заметил восстановление. Медиана вернулась к 0,2 секунды, а межрегиональный путь добавил менее 100 мс. Возврат занял около 10 минут, ошибок при переключении и возврате проба не зафиксировала.

Что делать на практике и где ограничения

Логику failover, health-check и ретраев между регионами можно отдать платформе, а в коде заменить клиент и операцию вызова. Это ещё и путь к экономии: общий пул вместо запаса под сумму пиков в каждом регионе. Взамен нужны разрешающие политики в аккаунтах-владельцах и аккуратные residency-правила.

Реакция не мгновенная: минуты насыщения клиенты всё равно переживают с высокой задержкой. Тест был на одном сценарии с одной пробой, а значительная часть графиков получена в тестовой установке AWS. Salesforce сама планирует повторить тест с более долгим насыщением, измерить задержку с точностью до миллисекунд и проверить каскадное поведение на межрегиональном лимите до широкого развёртывания. Если у вас похожая архитектура, начните с одной модели и логируйте RoutingReason с первого дня.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему нехватка мощностей превращается в простой?

Команда Agentforce Foundation обслуживает модели для Agentforce и Salesforce Trust Layer: часть обучена внутри компании, часть открытая. Запросы клиента обрабатываются в регионе, откуда они пришли, а ёмкость закладывается под трафик каждого клиента. У всех свои часы пик, и они часто пересекаются. Закладывать мощность под сумму пиков безопасно, но слишком дорого. К тому же клиенты внезапно подключают новые бизнес-подразделения, и парк приходится наращивать быстро, регион за регионом.

Что известно по теме: как работает роутер?

Роутер — это региональный ресурс SageMaker AI в вашем аккаунте. Приложение вызывает его вместо эндпоинта и передаёт имя routing target с тем же телом запроса и content type. Routing target — это логическая модель, например классификатор токсичности, со списком эндпоинтов и inference components по ARN. Они могут лежать в другом регионе или в чужом аккаунте. Доступ выдаёт владелец эндпоинта через resource-based policy с условием на конкретный роутер, и отозвать его можно в любой момент.

Что известно по теме: что показал тест?

Salesforce сначала проверила маршрутизацию внутри us-west-2, затем добавила эндпоинт в us-east-2 из другого аккаунта. Для наблюдаемости каждый ответ несёт два поля: InvokedRoutedResourceArn и RoutingReason (local-preferred, failover, capacity-available или only-healthy). В ARN зашиты регион и аккаунт, так что по одной строке лога видно, где обработан запрос и почему. В тесте локальный эндпоинт в us-west-2 забили до насыщения.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…