Pourquoi l'infrastructure de l'IA doit évoluer pour les agents — Akshat Bubna, CTO Modal

Akshat Bubna, CTO de la plateforme cloud Modal, est revenu au podcast Latent Space après deux ans pour discuter de la raison pour laquelle le paradigme d'infrastructure cloud actuel est mal adapté à l'ère des agents d'IA.

Des Fonctions Sans État aux Agents de Longue Durée

L'infrastructure cloud des 15 dernières années a été construite autour du paradigme des fonctions courtes: une demande arrive, le serveur exécute une tâche en millisecondes ou secondes, retourne un résultat. Ce modèle fonctionne parfaitement pour les applications Web, les microservices et le traitement des données.

Les agents d'IA fonctionnent complètement différemment. Au lieu d'une demande API unique, un agent se lance et peut travailler pendant des heures ou des jours, prenant des décisions, appelant des outils, analysant les résultats et s'adaptant aux nouvelles informations. Il a besoin de façon critique de maintenir l'état, de se souvenir du contexte, de coordonner les plans à long terme.

• Un agent ne fait pas que appeler un LLM une fois — il itère
• Nécessite un processus de longue durée qui n'est pas tué par le serveur
• Doit se souvenir de tout le contexte entre les étapes
• Interagit avec plusieurs outils, API et services en parallèle

Pourquoi l'Architecture Serverless Ne Convient Pas

Quand vous exécutez une fonction sur AWS Lambda ou Google Cloud Functions, le cloud peut tuer le conteneur à tout moment après l'exécution. L'état n'est pas préservé. L'appel de fonction suivant — une page blanche.

Pour les agents, cela signifie que chaque itération perd le contexte des étapes précédentes. L'agent ne peut pas travailler à long terme. Le dimensionnement devient un problème: vous exécutez de nombreuses fonctions indépendantes, au lieu de gérer un seul processus coordonné de longue durée. Les ressources se font concurrence. La fiabilité en souffre.

Les plates-formes cloud actuelles n'ont simplement pas été conçues pour cela.

Ce Que l'Infrastructure d'Agents Nécessite

Une plateforme supportant les agents doit fournir:

• Des conteneurs de longue durée qui ne perdent pas l'état
• Préservation garantie du contexte entre les itérations
• Dimensionnement simple de plusieurs agents simultanés
• Coordination intégrée et tolérance aux pannes
• Accès facile à GPU/CPU sans gestion d'infrastructure

Modal se positionne comme une telle plateforme — un cloud qui demande d'abord "quels calculs l'agent a-t-il besoin?" au lieu de "quelles fonctions je dimensionne?".

Ce Que Cela Signifie

L'infrastructure cloud entre dans son troisième cycle d'évolution. Le premier consistait simplement à déplacer les serveurs vers le cloud. Le deuxième — les microservices et le dimensionnement des fonctions. Le troisième — c'est l'ère des agents d'IA de longue durée, qui nécessitent un nouveau type d'architecture. Des plates-formes comme Modal montrent que l'infrastructure doit évoluer avec les types d'applications que les développeurs construisent.