Salesforce redireciona 78% do tráfego para outra região em 3 minutos com o roteador do SageMaker
A Salesforce mantém modelos em mais de 30 regiões da AWS. Quando faltavam GPUs em uma delas, os clientes recebiam erros, enquanto os servidores da região vizinha ficavam ociosos. Agora a requisição vai para um roteador gerenciado do SageMaker AI, que escolhe sozinho um endpoint saudável. No teste, a equipe sobrecarregou a us-west-2 (Oregon): 3 minutos depois dos primeiros erros, 78% do tráfego já era atendido pela us-east-2 (Ohio). Não é preciso escrever health checks e retries próprios entre regiões.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine que o seu classificador de toxicidade esteja implantado em Oregon e em Ohio. Em Oregon, o modelo vive o horário de pico: todas as instâncias com GPU estão ocupadas e as requisições falham com erros. Em Ohio, os servidores estão ociosos.
Foi esse o problema que a Salesforce enfrentou: seus modelos rodam em mais de 30 regiões da AWS e em centenas de contas, e a falta de capacidade em uma região virava indisponibilidade do serviço para os clientes. Antes, o redirecionamento do tráfego ficava a cargo de um gateway próprio. Agora, quem faz isso é o roteador gerenciado do Amazon SageMaker AI (cross-Region inference routing).
No teste, a equipe saturou de propósito o endpoint na us-west-2 (Oregon). Cerca de dois minutos depois dos primeiros erros, as primeiras requisições chegaram à us-east-2 (Ohio). Mais um minuto depois, ou seja, por volta de 3 minutos, a região já processava cerca de 78% do tráfego de teste.
Se você mantém modelos em várias regiões, a experiência mostra que dá para entregar o failover à plataforma em vez de manter código próprio.
Por que a falta de capacidade vira indisponibilidade
A equipe Agentforce Foundation opera os modelos do Agentforce e do Salesforce Trust Layer: parte foi treinada internamente, parte é de código aberto. As requisições de um cliente são processadas na região de onde vêm, e a capacidade é provisionada de acordo com o tráfego de cada cliente. Cada um tem seus próprios horários de pico, e eles costumam coincidir. Provisionar capacidade para a soma dos picos é seguro, mas caro demais. Além disso, os clientes ativam novas unidades de negócio de repente, e a frota precisa crescer rápido, região por região. O resultado é uma capacidade fragmentada: em alguns lugares há instâncias ociosas, em outros elas faltam.
Antes, o excesso de tráfego era enviado a outras regiões pelo Internal Gateway da própria empresa, com health checks simples, retries e troca de região. Esse esquema tinha dois defeitos. O gateway não sabia se o vizinho tinha espaço livre. Além disso, o tráfego entre regiões saía da VPC por NAT e internet gateway, pela rede pública da AWS. A equipe também temia uma falha em cascata: desviar tráfego no meio de um incidente pode sobrecarregar a região seguinte, por isso era preciso um limite para a parcela de tráfego inter-regional.
Como funciona o roteador
O roteador é um recurso regional do SageMaker AI na sua conta. O aplicativo o chama no lugar do endpoint e informa o nome do routing target, com o mesmo corpo de requisição e o mesmo content type. O routing target é um modelo lógico, como o classificador de toxicidade, com uma lista de endpoints e inference components identificados por ARN. Eles podem estar em outra região ou na conta de terceiros. O acesso é concedido pelo dono do endpoint por meio de uma resource-based policy com condição para um roteador específico, e pode ser revogado a qualquer momento.
Enquanto o endpoint local dá conta, as requisições permanecem na própria região. O roteador avalia a saúde de cada destino com base em resultados recentes: erros da plataforma, respostas 5xx do contêiner do modelo, throttling e timeouts a pioram. O tráfego costuma começar a se deslocar após cerca de um minuto. Se um destino não executa a requisição, o roteador a repete uma vez em outro. Erros do cliente, como uma entrada inválida, não movem o tráfego, e a latência também não: uma resposta lenta pode ser apenas um prompt longo. Depois da recuperação, o tráfego volta mais devagar do que saiu, para não desestabilizar o sistema.
Importante: o roteador não implanta modelos nem adiciona instâncias. Ele usa a capacidade que já está implantada, e o autoscaling continua sob responsabilidade de cada endpoint.
As requisições com a flag de data residency, a Salesforce vincula de forma rígida a um routing target local com um único destino, de modo que não cruzem a fronteira da região. As demais vão para o roteador. O gateway não adiciona retries próprios, para que as tentativas não se multipliquem durante um incidente, e o timeout foi calculado com folga para o caminho entre regiões.
O que o teste mostrou
A Salesforce primeiro testou o roteamento dentro da us-west-2 e depois adicionou um endpoint na us-east-2, em outra conta. Para observabilidade, cada resposta traz dois campos: InvokedRoutedResourceArn e RoutingReason (local-preferred, failover, capacity-available ou only-healthy). O ARN contém a região e a conta, então uma única linha de log mostra onde a requisição foi processada e por quê.
No teste, o endpoint local na us-west-2 foi saturado. Por cerca de cinco minutos, a latência mediana das sondas subiu de 0,2 para 45–58 segundos, e o tráfego permaneceu no lugar: a latência, por si só, não o desloca. Quando as requisições começaram a bater no timeout de 60 segundos do contêiner e a falhar com erros, o roteador reagiu.
As primeiras requisições chegaram à us-east-2 cerca de dois minutos após os primeiros erros, e mais um minuto depois a região atendia cerca de 78% do tráfego da sonda. Os outros 20–25% continuaram locais, para que o roteador notasse a recuperação. A mediana voltou a 0,2 segundo, e o caminho entre regiões acrescentou menos de 100 ms.
O retorno levou cerca de 10 minutos, e a sonda não registrou erros na troca nem no retorno.
O que fazer na prática e quais são os limites
A lógica de failover, health checks e retries entre regiões pode ficar com a plataforma, e no código basta trocar o cliente e a operação de chamada. Esse também é um caminho para economizar: um pool compartilhado em vez de uma reserva para a soma dos picos em cada região. Em troca, são necessárias policies de permissão nas contas proprietárias e regras de residency bem definidas.
A reação não é instantânea: os clientes ainda passam por alguns minutos de saturação com latência alta. O teste cobriu um único cenário, com uma única sonda, e boa parte dos gráficos vem de uma instalação de testes da AWS. A própria Salesforce planeja repetir o teste com uma saturação mais longa, medir a latência com precisão de milissegundos e verificar o comportamento em cascata no limite inter-regional antes da implantação em larga escala. Se a sua arquitetura é parecida, comece com um único modelo e registre o RoutingReason em log desde o primeiro dia.
- 19 de nov. de 2026Anthropic estreia na bolsa e capta US$ 81,3 bilhões — recorde de US$ 75 bilhões da SpaceX é superado
- 19 de nov. de 2026Participações da Amazon e do Google na Anthropic são avaliadas em US$308 bilhões no IPO a US$83 por ação
- 19 de nov. de 2026Agentes do AWS AgentCore agora acessam Keycloak em rede fechada com CA corporativa
- 19 de nov. de 2026Nvidia registra receita recorde de US$ 115,8 bilhões, mas vale menos em relação ao lucro do que em qualquer momento desde 2012
Perguntas frequentes sobre a notícia
Por que a falta de capacidade vira indisponibilidade?
A equipe Agentforce Foundation opera os modelos do Agentforce e do Salesforce Trust Layer: parte foi treinada internamente, parte é de código aberto. As requisições de um cliente são processadas na região de onde vêm, e a capacidade é provisionada de acordo com o tráfego de cada cliente. Cada um tem seus próprios horários de pico, e eles costumam coincidir. Provisionar capacidade para a soma dos picos é seguro, mas caro demais.
Como funciona o roteador?
O roteador é um recurso regional do SageMaker AI na sua conta. O aplicativo o chama no lugar do endpoint e informa o nome do routing target, com o mesmo corpo de requisição e o mesmo content type. O routing target é um modelo lógico, como o classificador de toxicidade, com uma lista de endpoints e inference components identificados por ARN. Eles podem estar em outra região ou na conta de terceiros.
O que o teste mostrou?
A Salesforce primeiro testou o roteamento dentro da us-west-2 e depois adicionou um endpoint na us-east-2, em outra conta. Para observabilidade, cada resposta traz dois campos: InvokedRoutedResourceArn e RoutingReason (local-preferred, failover, capacity-available ou only-healthy). O ARN contém a região e a conta, então uma única linha de log mostra onde a requisição foi processada e por quê. No teste, o endpoint local na us-west-2 foi saturado.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.