Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAPI / Producto · Listo para usarAWS Machine Learning Blog→ original

Salesforce desvió el 78% del tráfico a otra región en 3 minutos con el router de SageMaker

Salesforce despliega modelos en más de 30 regiones de AWS. Cuando en una región faltaban GPU, los clientes recibían errores mientras en la vecina los servidores estaban ociosos. Ahora la solicitud va a un router gestionado de SageMaker AI, que elige por sí solo un endpoint operativo. En la prueba se sobrecargó us-west-2 (Oregón): 3 minutos después de los primeros errores, us-east-2 (Ohio) atendía el 78% del tráfico. No hace falta escribir health checks ni reintentos propios entre regiones.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Salesforce desvió el 78% del tráfico a otra región en 3 minutos con el router de SageMaker
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1La región sobrecargada respondía en 45–58 segundos en lugar de 0,2 segundos
Dato clave #2El cambio a otra región añadió menos de 100 ms de latencia
Dato clave #3El retorno del tráfico tras la recuperación tardó unos 10 minutos

Imagine que su clasificador de toxicidad está desplegado en Oregón y en Ohio. En Oregón el modelo vive su hora punta: todas las instancias con GPU están ocupadas y las solicitudes fallan con errores, mientras que en Ohio los servidores están ociosos. Es justo lo que le pasaba a Salesforce: sus modelos funcionan en más de 30 regiones de AWS y en cientos de cuentas, y la falta de capacidad en una región se traducía en indisponibilidad del servicio para los clientes.

Antes, el tráfico lo redirigía un gateway propio; ahora lo hace el router gestionado de Amazon SageMaker AI (cross-Region inference routing). En la prueba, el equipo saturó a propósito un endpoint en us-west-2 (Oregón). Unos dos minutos después de los primeros errores, las primeras solicitudes llegaron a us-east-2 (Ohio), y un minuto más tarde, es decir, a los 3 minutos aproximadamente, allí se procesaba cerca del 78% del tráfico de prueba.

Si mantiene modelos en varias regiones, esta experiencia muestra que el failover se puede delegar en la plataforma en lugar de mantener código propio.

Por qué la falta de capacidad se convierte en caída del servicio

El equipo de Agentforce Foundation sirve modelos para Agentforce y Salesforce Trust Layer: unos se entrenan dentro de la empresa y otros son abiertos. Las solicitudes de un cliente se procesan en la región de la que proceden, y la capacidad se reserva en función del tráfico de cada cliente. Cada uno tiene sus propias horas punta, y a menudo coinciden. Reservar capacidad para la suma de los picos es seguro, pero demasiado caro. Además, los clientes incorporan de forma repentina nuevas unidades de negocio, y la flota hay que ampliarla rápido, región por región. El resultado es una capacidad fragmentada: en unos sitios sobran instancias y en otros faltan.

Antes, el tráfico sobrante hacia otras regiones lo enviaba un Internal Gateway propio, con health checks simples, reintentos y conmutación de regiones. Este esquema tenía dos fallos. El gateway no sabía si el vecino tenía hueco libre. Además, el tráfico entre regiones salía de la VPC a través de NAT y de un gateway de internet, por la red pública de AWS. El equipo también temía un fallo en cascada: desviar tráfico en pleno incidente puede sobrecargar la siguiente región, por lo que hace falta un límite a la proporción de tráfico interregional.

Cómo funciona el router

El router es un recurso regional de SageMaker AI en su cuenta. La aplicación lo invoca en lugar del endpoint y le pasa el nombre del routing target con el mismo cuerpo de solicitud y content type. Un routing target es un modelo lógico, por ejemplo un clasificador de toxicidad, con una lista de endpoints e inference components identificados por ARN. Pueden estar en otra región o en una cuenta ajena. El acceso lo concede el propietario del endpoint mediante una resource-based policy con una condición sobre un router concreto, y puede revocarlo en cualquier momento.

Mientras el endpoint local aguanta, las solicitudes se quedan en su región. El router evalúa la salud de cada destino a partir de resultados recientes: errores de la plataforma, 5xx del contenedor del modelo, throttling y timeouts la empeoran. El tráfico suele empezar a desplazarse aproximadamente al cabo de un minuto. Si un destino no completa la solicitud, el router la reintenta una vez en otro. Los errores del cliente, como una entrada incorrecta, no mueven el tráfico, y la latencia tampoco: una respuesta lenta puede deberse simplemente a un prompt largo. Tras la recuperación, el tráfico vuelve más despacio de lo que se fue, para no desestabilizar el sistema.

Importante: el router no despliega modelos ni añade instancias. Usa la capacidad ya desplegada, y el autoescalado sigue siendo responsabilidad de cada endpoint.

Salesforce vincula de forma estricta las solicitudes con el indicador de data residency a un routing target local con un único destino, de modo que no cruzarán la frontera de la región. El resto va al router. El gateway no añade reintentos propios, para que los intentos no se multipliquen durante un incidente, y el timeout se calcula con margen para el trayecto interregional.

Qué mostró la prueba

Salesforce comprobó primero el enrutamiento dentro de us-west-2 y después añadió un endpoint en us-east-2 desde otra cuenta. Para la observabilidad, cada respuesta incluye dos campos: InvokedRoutedResourceArn y RoutingReason (local-preferred, failover, capacity-available u only-healthy). El ARN contiene la región y la cuenta, así que con una sola línea de log se ve dónde se procesó la solicitud y por qué.

En la prueba se saturó el endpoint local de us-west-2. Durante unos cinco minutos, la latencia mediana de las sondas subió de 0,2 a 45–58 segundos, y el tráfico se quedó donde estaba: la latencia por sí sola no lo desplaza. Cuando las solicitudes empezaron a chocar con el timeout de 60 segundos del contenedor y a fallar con errores, el router reaccionó.

Las primeras solicitudes llegaron a us-east-2 unos dos minutos después de los primeros errores, y un minuto más tarde allí se atendía cerca del 78% del tráfico de la sonda. El 20–25% restante se mantuvo en local para que el router detectara la recuperación. La mediana volvió a 0,2 segundos, y el trayecto interregional añadió menos de 100 ms.

El retorno tardó unos 10 minutos, y la sonda no registró errores durante la conmutación ni durante el retorno.

Qué hacer en la práctica y cuáles son los límites

La lógica de failover, health checks y reintentos entre regiones se puede delegar en la plataforma, y en el código basta con cambiar el cliente y la operación de invocación. Es también una vía de ahorro: un pool común en lugar de un margen para la suma de picos en cada región. A cambio, hacen falta políticas de permiso en las cuentas propietarias y reglas de residency cuidadosas.

La reacción no es instantánea: los clientes sufren igualmente esos minutos de saturación con latencia alta. La prueba se hizo con un solo escenario y una sola sonda, y buena parte de los gráficos se obtuvo en una instalación de prueba de AWS. La propia Salesforce planea repetir la prueba con una saturación más larga, medir la latencia con precisión de milisegundos y comprobar el comportamiento en cascada sobre el límite interregional antes de un despliegue amplio. Si su arquitectura es similar, empiece por un solo modelo y registre RoutingReason desde el primer día.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué la falta de capacidad se convierte en caída del servicio?

El equipo de Agentforce Foundation sirve modelos para Agentforce y Salesforce Trust Layer: unos se entrenan dentro de la empresa y otros son abiertos. Las solicitudes de un cliente se procesan en la región de la que proceden, y la capacidad se reserva en función del tráfico de cada cliente. Cada uno tiene sus propias horas punta, y a menudo coinciden. Reservar capacidad para la suma de los picos es seguro, pero demasiado caro.

Cómo funciona el router?

El router es un recurso regional de SageMaker AI en su cuenta. La aplicación lo invoca en lugar del endpoint y le pasa el nombre del routing target con el mismo cuerpo de solicitud y content type. Un routing target es un modelo lógico, por ejemplo un clasificador de toxicidad, con una lista de endpoints e inference components identificados por ARN. Pueden estar en otra región o en una cuenta ajena.

¿Qué se sabe sobre Qué mostró la prueba?

Salesforce comprobó primero el enrutamiento dentro de us-west-2 y después añadió un endpoint en us-east-2 desde otra cuenta. Para la observabilidad, cada respuesta incluye dos campos: InvokedRoutedResourceArn y RoutingReason (local-preferred, failover, capacity-available u only-healthy). El ARN contiene la región y la cuenta, así que con una sola línea de log se ve dónde se procesó la solicitud y por qué. En la prueba se saturó el endpoint local de us-west-2.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…