Neuf agents IA, un seul quota d'API : comment le Rate Governor évite les défaillances en cascade

Quand neuf agents IA tournent dans un même système avec un quota d'API partagé, les mécanismes de protection habituels n'y suffisent plus. Une seule réponse 429 Too Many Requests déclenche une réaction en chaîne qui peut mettre hors service tout le système. Voici pourquoi, et comment y remédier.

Pourquoi le jitter ne suffit pas

Dans un service isolé, l'exponential backoff avec jitter est un moyen fiable de se protéger de la surcharge d'une API. L'agent reçoit un 429, attend une pause aléatoire, puis relance sa requête. La charge s'étale dans le temps et le pic est écrêté. Cela fonctionne quand il n'y a qu'un seul agent.

Mais quand neuf agents se partagent le quota et appliquent la même stratégie, les mathématiques changent. Lorsque la limite est atteinte, les neuf reçoivent un 429 quasiment au même instant. Tous tirent une pause aléatoire dans la même plage. Résultat : la plupart renvoient leurs requêtes dans une fenêtre étroite et, au lieu de lisser la charge, ils créent un nouveau pic, souvent supérieur au premier.

• L'agent A attend 1.2 s et relance sa requête
• Les agents B, C et D attendent 0.8–1.5 s et relancent aussi
• La charge cumulée au moment de la « vague de retries » dépasse le quota
• Une nouvelle vague de 429 arrive et le cycle recommence

Plus il y a d'agents dans le système, moins le jitter est efficace. Ce mécanisme a été conçu pour des services indépendants disposant de quotas indépendants, pas pour un groupe d'agents qui puisent dans une limite commune.

L'architecture Rate Governor

La solution consiste à confier la gestion du quota à un composant distinct, qui voit l'état de tous les agents simultanément et décide de façon centralisée. Le Rate Governor sert de point d'entrée unique : les agents n'appellent pas l'API directement, ils demandent d'abord l'autorisation au coordinateur. Ce n'est qu'après confirmation que l'agent envoie la vraie requête.

Les éléments clés de l'architecture :

• Pool de tokens commun : un compteur unique de la limite disponible, mis à jour en temps réel pour tous les agents
• Système de priorités : les tâches critiques (réponse à un utilisateur) reçoivent des tokens avant les tâches de fond (indexation, enrichissement de données)
• Circuit Breaker prédictif : il n'attend pas le premier 429, mais anticipe le dépassement à partir du rythme actuel des requêtes et réduit les attributions en amont
• Diffusion de l'état : le Governor informe tous les agents de l'état courant du quota afin qu'ils adaptent leur fréquence de requêtes de façon préventive

Cette approche brise le cercle vicieux : les agents ne prennent plus de décisions indépendantes sur les relances, ils se coordonnent via un composant commun.

Le Circuit Breaker prédictif

Le Circuit Breaker classique est réactif : il ne se déclenche qu'après une erreur. Dans un système multi-agents, c'est trop tard : quand le premier 429 apparaît, plusieurs agents ont déjà mis des relances en file d'attente.

La version prédictive surveille la vitesse de consommation des tokens. Si 80 % du quota a été utilisé au cours des 10 dernières secondes, le Governor passe en amont en mode restriction : il abaisse la limite d'attribution pour les agents de faible priorité et les prévient du changement. La courbe de charge s'aplanit avant l'épuisement de la limite de l'API, et le 429 n'apparaît même pas.

Un Circuit Breaker prédictif change la logique du système : au lieu d'« attendons l'erreur », on passe à « prévenons l'erreur ». Cela exige une télémétrie permanente : le Governor doit savoir combien de tokens chaque agent a dépensés sur une fenêtre de temps glissante.

« Le problème n'est pas que chaque agent fasse quelque chose de mal.

Le problème est que le comportement correct de neuf agents à la fois devient un comportement collectif incorrect. »

Ce que cela signifie

Un Rate Governor est un élément indispensable de tout système multi-agents avec une limite d'API partagée. Sans lui, augmenter le nombre d'agents n'améliore pas les performances : chaque nouvel agent ne fait qu'accroître le chaos des défaillances. Un coordinateur centralisé, doté de priorités et d'un pilotage prédictif, fait passer le système d'une lutte permanente contre les erreurs 429 à un fonctionnement stable sous charge réelle. C'est d'autant plus important que les agents exécutent des tâches de criticité différente : le coordinateur garantit que l'urgent est toujours servi en premier.