Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAPI / Produit · Prêt à l'emploiAWS Machine Learning Blog→ original

Salesforce a basculé 78% de son trafic vers une autre région en 3 minutes grâce au routeur SageMaker

Salesforce déploie ses modèles dans plus de 30 régions AWS. Quand une région manquait de GPU, les clients recevaient des erreurs, alors que les serveurs de la région voisine restaient inactifs. Désormais, la requête passe par un routeur géré de SageMaker AI, qui choisit lui-même un endpoint disponible. Lors d'un test, l'équipe a saturé us-west-2 (Oregon) : 3 minutes après les premières erreurs, us-east-2 (Ohio) traitait 78% du trafic. Il n'est plus nécessaire d'écrire ses propres health-checks et retries entre régions.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Salesforce a basculé 78% de son trafic vers une autre région en 3 minutes grâce au routeur SageMaker
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1La région surchargée répondait en 45–58 secondes au lieu de 0,2 seconde
Chiffre clé #2Le passage vers une autre région a ajouté moins de 100 ms de latence
Chiffre clé #3Le retour du trafic après rétablissement a pris environ 10 minutes

Imaginez que votre classifieur de toxicité soit déployé en Oregon et en Ohio. En Oregon, le modèle subit son pic de charge : toutes les instances GPU sont occupées et les requêtes échouent, tandis qu'en Ohio les serveurs restent inactifs. C'est exactement ce qu'a vécu Salesforce : ses modèles tournent dans plus de 30 régions AWS et des centaines de comptes, et le manque de capacité dans une région se traduisait par l'indisponibilité du service pour les clients.

Jusqu'ici, la redirection du trafic reposait sur une passerelle maison ; elle est désormais confiée au routeur géré d'Amazon SageMaker AI (cross-Region inference routing). Lors d'un test, l'équipe a volontairement saturé l'endpoint de us-west-2 (Oregon). Environ deux minutes après les premières erreurs, les premières requêtes ont atteint us-east-2 (Ohio).

Une minute plus tard, soit environ 3 minutes en tout, cette région traitait près de 78% du trafic de test. Si vous hébergez des modèles dans plusieurs régions, ce retour d'expérience montre que le failover peut être délégué à la plateforme plutôt que codé soi-même.

Pourquoi un manque de capacité devient une panne

L'équipe Agentforce Foundation exploite les modèles d'Agentforce et de Salesforce Trust Layer : certains sont entraînés en interne, d'autres sont ouverts. Les requêtes d'un client sont traitées dans la région d'où elles proviennent, et la capacité est dimensionnée selon le trafic de chaque client. Chacun a ses propres heures de pointe, qui se recoupent souvent. Dimensionner la capacité sur la somme des pics est sûr, mais trop coûteux. De plus, les clients raccordent parfois soudainement de nouvelles unités métier, et le parc doit alors grossir vite, région après région. Résultat : la capacité se fragmente, avec des instances inactives à certains endroits et un déficit ailleurs.

Jusqu'ici, le surplus de trafic était envoyé vers d'autres régions par l'Internal Gateway maison, avec des health-checks simples, des retries et un basculement entre régions. Ce schéma présentait deux défauts. La passerelle ignorait si la région voisine avait de la place. Par ailleurs, le trafic inter-régions sortait du VPC via un NAT et une passerelle Internet, en empruntant le réseau public d'AWS. L'équipe craignait aussi une défaillance en cascade : reporter du trafic en pleine panne peut surcharger la région suivante, d'où la nécessité de plafonner la part de trafic inter-régions.

Comment fonctionne le routeur

Le routeur est une ressource régionale de SageMaker AI, créée dans votre compte. L'application l'appelle à la place de l'endpoint et lui transmet le nom d'un routing target, avec le même corps de requête et le même content type. Un routing target est un modèle logique, par exemple un classifieur de toxicité, associé à une liste d'endpoints et d'inference components identifiés par leur ARN. Ils peuvent se trouver dans une autre région ou dans le compte d'un tiers. L'accès est accordé par le propriétaire de l'endpoint via une resource-based policy limitée à un routeur précis, et il peut le révoquer à tout moment.

Tant que l'endpoint local tient la charge, les requêtes restent dans leur région. Le routeur évalue la santé de chaque destination d'après ses résultats récents : erreurs de la plateforme, erreurs 5xx du conteneur du modèle, throttling et timeouts la dégradent. Le trafic commence généralement à se déplacer au bout d'environ une minute. Si une destination n'a pas exécuté la requête, le routeur la relance une fois sur une autre. Les erreurs côté client, comme une entrée invalide, ne déplacent pas le trafic, pas plus que la latence : une réponse lente peut simplement venir d'un prompt long. Après rétablissement, le trafic revient plus lentement qu'il n'est parti, afin de ne pas déstabiliser le système.

À noter : le routeur ne déploie pas de modèles et n'ajoute pas d'instances. Il exploite la capacité déjà déployée, et l'autoscaling reste du ressort de chaque endpoint.

Pour les requêtes portant un flag de data residency, Salesforce les rattache strictement à un routing target local ne comportant qu'une seule destination, de sorte qu'elles ne franchissent pas la frontière de la région. Les autres passent par le routeur. La passerelle n'ajoute pas ses propres retries, pour éviter que les tentatives ne se multiplient pendant une panne, et le timeout est calculé avec une marge pour le trajet inter-régions.

Ce qu'a montré le test

Salesforce a d'abord validé le routage à l'intérieur de us-west-2, puis ajouté un endpoint dans us-east-2 depuis un autre compte. Pour l'observabilité, chaque réponse contient deux champs : InvokedRoutedResourceArn et RoutingReason (local-preferred, failover, capacity-available ou only-healthy). L'ARN encode la région et le compte : une seule ligne de log indique donc où la requête a été traitée et pourquoi.

Dans le test, l'endpoint local de us-west-2 a été saturé. Pendant environ cinq minutes, la latence médiane de la sonde est passée de 0,2 à 45–58 secondes, tandis que le trafic restait en place : la latence seule ne le déplace pas. Quand les requêtes ont commencé à buter sur le timeout de 60 secondes du conteneur et à échouer, le routeur a réagi.

Les premières requêtes ont atteint us-east-2 environ deux minutes après les premières erreurs ; une minute plus tard, cette région servait environ 78% du trafic de la sonde. Les 20–25% restants sont demeurés en local, pour que le routeur puisse détecter le rétablissement. La médiane est revenue à 0,2 seconde, et le trajet inter-régions a ajouté moins de 100 ms.

Le retour à la normale a pris environ 10 minutes ; la sonde n'a enregistré aucune erreur lors du basculement ni du retour.

En pratique : mise en œuvre et limites

La logique de failover, de health-checks et de retries entre régions peut être confiée à la plateforme ; côté code, il suffit de remplacer le client et l'opération d'appel. C'est aussi une piste d'économies : un pool commun remplace une réserve dimensionnée sur la somme des pics dans chaque région. En contrepartie, il faut des politiques d'autorisation dans les comptes propriétaires et des règles de residency soigneusement définies.

La réaction n'est pas instantanée : les clients subissent tout de même plusieurs minutes de saturation avec une latence élevée. Le test portait sur un seul scénario avec une seule sonde, et une partie importante des graphiques provient d'une installation de test d'AWS. Salesforce prévoit elle-même de répéter le test avec une saturation plus longue, de mesurer la latence à la milliseconde près et de vérifier le comportement en cascade sur la limite inter-régions avant un déploiement à grande échelle. Si votre architecture est similaire, commencez par un seul modèle et journalisez RoutingReason dès le premier jour.

Dossier

Questions clés sur cet article

Pourquoi un manque de capacité devient une panne?

L'équipe Agentforce Foundation exploite les modèles d'Agentforce et de Salesforce Trust Layer : certains sont entraînés en interne, d'autres sont ouverts. Les requêtes d'un client sont traitées dans la région d'où elles proviennent, et la capacité est dimensionnée selon le trafic de chaque client. Chacun a ses propres heures de pointe, qui se recoupent souvent. Dimensionner la capacité sur la somme des pics est sûr, mais trop coûteux.

Comment fonctionne le routeur?

Le routeur est une ressource régionale de SageMaker AI, créée dans votre compte. L'application l'appelle à la place de l'endpoint et lui transmet le nom d'un routing target, avec le même corps de requête et le même content type. Un routing target est un modèle logique, par exemple un classifieur de toxicité, associé à une liste d'endpoints et d'inference components identifiés par leur ARN. Ils peuvent se trouver dans une autre région ou dans le compte d'un tiers.

Que sait-on sur Ce qu'a montré le test ?

Salesforce a d'abord validé le routage à l'intérieur de us-west-2, puis ajouté un endpoint dans us-east-2 depuis un autre compte. Pour l'observabilité, chaque réponse contient deux champs : InvokedRoutedResourceArn et RoutingReason (local-preferred, failover, capacity-available ou only-healthy). L'ARN encode la région et le compte : une seule ligne de log indique donc où la requête a été traitée et pourquoi. Dans le test, l'endpoint local de us-west-2 a été saturé.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…