Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAPI / Produto · Pronto p/ usoAWS Machine Learning Blog→ original

Salesforce redireciona 78% do tráfego para outra região em 3 minutos com o roteador do SageMaker

A Salesforce mantém modelos em mais de 30 regiões da AWS. Quando faltavam GPUs em uma delas, os clientes recebiam erros, enquanto os servidores da região vizinha ficavam ociosos. Agora a requisição vai para um roteador gerenciado do SageMaker AI, que escolhe sozinho um endpoint saudável. No teste, a equipe sobrecarregou a us-west-2 (Oregon): 3 minutos depois dos primeiros erros, 78% do tráfego já era atendido pela us-east-2 (Ohio). Não é preciso escrever health checks e retries próprios entre regiões.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Salesforce redireciona 78% do tráfego para outra região em 3 minutos com o roteador do SageMaker
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1A região sobrecarregada respondia em 45–58 segundos, em vez de 0,2 segundo
Dado-chave #2A migração para outra região acrescentou menos de 100 ms de latência
Dado-chave #3O retorno do tráfego após a recuperação levou cerca de 10 minutos

Imagine que o seu classificador de toxicidade esteja implantado em Oregon e em Ohio. Em Oregon, o modelo vive o horário de pico: todas as instâncias com GPU estão ocupadas e as requisições falham com erros. Em Ohio, os servidores estão ociosos.

Foi esse o problema que a Salesforce enfrentou: seus modelos rodam em mais de 30 regiões da AWS e em centenas de contas, e a falta de capacidade em uma região virava indisponibilidade do serviço para os clientes. Antes, o redirecionamento do tráfego ficava a cargo de um gateway próprio. Agora, quem faz isso é o roteador gerenciado do Amazon SageMaker AI (cross-Region inference routing).

No teste, a equipe saturou de propósito o endpoint na us-west-2 (Oregon). Cerca de dois minutos depois dos primeiros erros, as primeiras requisições chegaram à us-east-2 (Ohio). Mais um minuto depois, ou seja, por volta de 3 minutos, a região já processava cerca de 78% do tráfego de teste.

Se você mantém modelos em várias regiões, a experiência mostra que dá para entregar o failover à plataforma em vez de manter código próprio.

Por que a falta de capacidade vira indisponibilidade

A equipe Agentforce Foundation opera os modelos do Agentforce e do Salesforce Trust Layer: parte foi treinada internamente, parte é de código aberto. As requisições de um cliente são processadas na região de onde vêm, e a capacidade é provisionada de acordo com o tráfego de cada cliente. Cada um tem seus próprios horários de pico, e eles costumam coincidir. Provisionar capacidade para a soma dos picos é seguro, mas caro demais. Além disso, os clientes ativam novas unidades de negócio de repente, e a frota precisa crescer rápido, região por região. O resultado é uma capacidade fragmentada: em alguns lugares há instâncias ociosas, em outros elas faltam.

Antes, o excesso de tráfego era enviado a outras regiões pelo Internal Gateway da própria empresa, com health checks simples, retries e troca de região. Esse esquema tinha dois defeitos. O gateway não sabia se o vizinho tinha espaço livre. Além disso, o tráfego entre regiões saía da VPC por NAT e internet gateway, pela rede pública da AWS. A equipe também temia uma falha em cascata: desviar tráfego no meio de um incidente pode sobrecarregar a região seguinte, por isso era preciso um limite para a parcela de tráfego inter-regional.

Como funciona o roteador

O roteador é um recurso regional do SageMaker AI na sua conta. O aplicativo o chama no lugar do endpoint e informa o nome do routing target, com o mesmo corpo de requisição e o mesmo content type. O routing target é um modelo lógico, como o classificador de toxicidade, com uma lista de endpoints e inference components identificados por ARN. Eles podem estar em outra região ou na conta de terceiros. O acesso é concedido pelo dono do endpoint por meio de uma resource-based policy com condição para um roteador específico, e pode ser revogado a qualquer momento.

Enquanto o endpoint local dá conta, as requisições permanecem na própria região. O roteador avalia a saúde de cada destino com base em resultados recentes: erros da plataforma, respostas 5xx do contêiner do modelo, throttling e timeouts a pioram. O tráfego costuma começar a se deslocar após cerca de um minuto. Se um destino não executa a requisição, o roteador a repete uma vez em outro. Erros do cliente, como uma entrada inválida, não movem o tráfego, e a latência também não: uma resposta lenta pode ser apenas um prompt longo. Depois da recuperação, o tráfego volta mais devagar do que saiu, para não desestabilizar o sistema.

Importante: o roteador não implanta modelos nem adiciona instâncias. Ele usa a capacidade que já está implantada, e o autoscaling continua sob responsabilidade de cada endpoint.

As requisições com a flag de data residency, a Salesforce vincula de forma rígida a um routing target local com um único destino, de modo que não cruzem a fronteira da região. As demais vão para o roteador. O gateway não adiciona retries próprios, para que as tentativas não se multipliquem durante um incidente, e o timeout foi calculado com folga para o caminho entre regiões.

O que o teste mostrou

A Salesforce primeiro testou o roteamento dentro da us-west-2 e depois adicionou um endpoint na us-east-2, em outra conta. Para observabilidade, cada resposta traz dois campos: InvokedRoutedResourceArn e RoutingReason (local-preferred, failover, capacity-available ou only-healthy). O ARN contém a região e a conta, então uma única linha de log mostra onde a requisição foi processada e por quê.

No teste, o endpoint local na us-west-2 foi saturado. Por cerca de cinco minutos, a latência mediana das sondas subiu de 0,2 para 45–58 segundos, e o tráfego permaneceu no lugar: a latência, por si só, não o desloca. Quando as requisições começaram a bater no timeout de 60 segundos do contêiner e a falhar com erros, o roteador reagiu.

As primeiras requisições chegaram à us-east-2 cerca de dois minutos após os primeiros erros, e mais um minuto depois a região atendia cerca de 78% do tráfego da sonda. Os outros 20–25% continuaram locais, para que o roteador notasse a recuperação. A mediana voltou a 0,2 segundo, e o caminho entre regiões acrescentou menos de 100 ms.

O retorno levou cerca de 10 minutos, e a sonda não registrou erros na troca nem no retorno.

O que fazer na prática e quais são os limites

A lógica de failover, health checks e retries entre regiões pode ficar com a plataforma, e no código basta trocar o cliente e a operação de chamada. Esse também é um caminho para economizar: um pool compartilhado em vez de uma reserva para a soma dos picos em cada região. Em troca, são necessárias policies de permissão nas contas proprietárias e regras de residency bem definidas.

A reação não é instantânea: os clientes ainda passam por alguns minutos de saturação com latência alta. O teste cobriu um único cenário, com uma única sonda, e boa parte dos gráficos vem de uma instalação de testes da AWS. A própria Salesforce planeja repetir o teste com uma saturação mais longa, medir a latência com precisão de milissegundos e verificar o comportamento em cascata no limite inter-regional antes da implantação em larga escala. Se a sua arquitetura é parecida, comece com um único modelo e registre o RoutingReason em log desde o primeiro dia.

História

Perguntas frequentes sobre a notícia

Por que a falta de capacidade vira indisponibilidade?

A equipe Agentforce Foundation opera os modelos do Agentforce e do Salesforce Trust Layer: parte foi treinada internamente, parte é de código aberto. As requisições de um cliente são processadas na região de onde vêm, e a capacidade é provisionada de acordo com o tráfego de cada cliente. Cada um tem seus próprios horários de pico, e eles costumam coincidir. Provisionar capacidade para a soma dos picos é seguro, mas caro demais.

Como funciona o roteador?

O roteador é um recurso regional do SageMaker AI na sua conta. O aplicativo o chama no lugar do endpoint e informa o nome do routing target, com o mesmo corpo de requisição e o mesmo content type. O routing target é um modelo lógico, como o classificador de toxicidade, com uma lista de endpoints e inference components identificados por ARN. Eles podem estar em outra região ou na conta de terceiros.

O que o teste mostrou?

A Salesforce primeiro testou o roteamento dentro da us-west-2 e depois adicionou um endpoint na us-east-2, em outra conta. Para observabilidade, cada resposta traz dois campos: InvokedRoutedResourceArn e RoutingReason (local-preferred, failover, capacity-available ou only-healthy). O ARN contém a região e a conta, então uma única linha de log mostra onde a requisição foi processada e por quê. No teste, o endpoint local na us-west-2 foi saturado.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…