Pourquoi l'infrastructure d'IA doit évoluer pour les agents — Akshat Bubna, CTO de Modal

Akshat Bubna, CTO de la plateforme cloud Modal, est revenu sur le podcast Latent Space deux ans après pour expliquer pourquoi le paradigme actuel de l'infrastructure cloud n'est pas adapté à l'ère des agents d'IA.

Des fonctions sans état aux agents de longue durée

Depuis 15 ans, l'infrastructure cloud est bâtie autour de fonctions courtes : une requête arrive, le serveur exécute la tâche en quelques millisecondes ou secondes, puis renvoie le résultat. Ce modèle a très bien fonctionné pour les applications web, les microservices et le traitement de données.

Les agents d'IA fonctionnent tout autrement. Au lieu d'une requête d'API ponctuelle, l'agent démarre et peut tourner pendant des heures, voire des jours, en prenant des décisions, en appelant des outils, en analysant des résultats et en s'adaptant à de nouvelles informations. Il doit impérativement conserver son état, se souvenir du contexte et coordonner des plans à long terme.

• Un agent n'appelle pas un LLM une seule fois : il itère
• Il exige un processus de longue durée que le serveur ne tue pas
• Il doit se souvenir de tout le contexte entre les étapes
• Il interagit en parallèle avec de nombreux outils, API et services

Pourquoi l'architecture serverless ne convient pas

Quand on exécute une fonction sur AWS Lambda ou Google Cloud Functions, le cloud peut tuer le conteneur à tout moment après l'exécution. L'état n'est pas conservé. L'appel suivant repart de zéro.

Pour les agents, cela signifie que chaque itération perd le contexte des étapes précédentes. Un agent ne peut pas travailler sur la durée. Le passage à l'échelle devient un problème : on lance de nombreuses fonctions indépendantes au lieu de piloter un seul processus coordonné et de longue durée. Les ressources se font concurrence. La fiabilité en pâtit.

Les plateformes cloud actuelles n'ont tout simplement pas été conçues pour cela.

Ce qu'exige l'infrastructure des agents

Une plateforme qui prend en charge des agents doit offrir :

• Des conteneurs de longue durée qui ne perdent pas leur état
• Une persistance garantie de la mémoire entre les itérations
• Un passage à l'échelle simple pour de nombreux agents simultanés
• Une coordination et une tolérance aux pannes intégrées
• Un accès facile aux GPU/CPU sans avoir à gérer l'infrastructure

Modal se positionne comme cette plateforme : un cloud qui demande d'abord « de quel calcul l'agent a-t-il besoin ? » plutôt que « quelles fonctions dois-je mettre à l'échelle ? ».

Ce que cela signifie

L'infrastructure cloud entre dans le troisième cycle de son évolution. Le premier a simplement consisté à déplacer les serveurs vers le cloud. Le deuxième portait sur les microservices et le passage à l'échelle des fonctions. Le troisième est l'ère des agents d'IA de longue durée, qui exigent un nouveau type d'architecture. Des plateformes comme Modal montrent que l'infrastructure doit évoluer au rythme des types d'applications que construisent les développeurs.