BerriAI lance LiteLLM Agent Platform pour déployer des agents en production

Lancer un agent IA dans un script local est simple. Le faire tourner de manière fiable en production, conserver son état entre les redémarrages et fournir des environnements isolés pour différents contextes est une tout autre affaire.

Le problème de la production

Tant qu'un agent IA ne tourne que sur la machine du développeur, tout semble simple. Mais le passage en production fait vite apparaître des problèmes : pas de stockage des sessions entre les redémarrages de l'OS, pas d'isolation des contextes entre utilisateurs, une gestion d'équipe difficile et l'absence de supervision intégrée. Chaque entreprise qui a tenté de lancer un agent en production a fini par écrire sa propre infrastructure.

BerriAI, l'entreprise derrière le populaire LiteLLM AI Gateway, a publié une réponse à ce problème : LiteLLM Agent Platform. Il s'agit d'une couche d'infrastructure auto-hébergée, basée sur Kubernetes, qui automatise tout le nécessaire.

Ce que comprend LiteLLM Agent Platform

La plateforme fournit les composants clés pour des agents prêts pour la production :

• Des bacs à sable isolés pour chaque agent ou contexte
• Une gestion de sessions persistantes : l'état est conservé après les redémarrages
• Gestion d'équipes et contrôle d'accès
• Supervision, journalisation et traçage intégrés
• Déploiement auto-hébergé sur Kubernetes
• Une API pour gérer le cycle de vie de l'agent

Vous définissez la spécification de l'agent ; la plateforme crée l'environnement et s'occupe du reste.

Différence avec LiteLLM Gateway

Il ne faut pas confondre LiteLLM Agent Platform avec LiteLLM AI Gateway (du même éditeur). Le Gateway gère les requêtes vers différents modèles LLM (OpenAI, Anthropic, Cohere, modèles locaux). Il traite le routage et la mise en cache des requêtes. Agent Platform se situe un niveau au-dessus : c'est l'infrastructure du cycle de vie complet de l'agent. Le Gateway peut faire partie de la stack, mais la Platform prend en charge toute la complexité de l'environnement.

Ce que cela change

En pratique, cela supprime toute une catégorie de problèmes pour les équipes qui veulent exécuter des agents IA en production. Plus besoin d'écrire soi-même la persistance des sessions, l'isolation des contextes et la supervision. Le code étant open source, les entreprises pourront intégrer la plateforme à leur stack sans verrouillage fournisseur (vendor lock-in). Cela devrait accélérer le passage des agents du POC à la production.