Agents IA en production : l'architecture Enterprise AI Harness sur Kubernetes

Un ingénieur a publié sur Habr une architecture de référence pour un Enterprise AI Harness sur Kubernetes. Plutôt que d'écrire un runtime maison, l'auteur a bâti l'infrastructure à partir de composants ouverts, afin que n'importe quelle équipe plateforme puisse exploiter des agents en production, et pas seulement Anthropic.

Pourquoi les agents en production sont-ils un angle mort ?

On trouve des dizaines d'articles et de cours sur la façon de concevoir, d'entraîner ou de configurer un agent IA. On sait beaucoup moins comment le lancer en production de manière sûre, fiable et prévisible. Ce savoir reste généralement derrière les portes closes d'entreprises comme Anthropic, OpenAI ou Google, qui ont les ressources et l'expertise pour écrire leur propre runtime from scratch. Cela soulève des problèmes d'ingénierie complexes : gestion de l'état, tolérance aux pannes, isolation des contextes, supervision et sécurité.

Quelles couches composent l'architecture ?

L'auteur propose une architecture de référence découpée en quatre couches fonctionnelles :

• Couche d'orchestration : gestion du cycle de vie de l'agent, planification des tâches, gestion des erreurs et politiques de retry, gestion de la file de requêtes
• Couche d'intégration : connexion aux services externes, API REST, outils et stockages de données
• Couche d'exécution : l'exécution de l'agent proprement dite, gestion du contexte et de la mémoire, appels aux API de LLM
• Couche d'observabilité : journalisation de toutes les opérations, métriques de performance, traçage distribué, configuration des alertes

Des points d'intégration contractuels clairs sont définis entre les couches, ce qui permet de remplacer des composants isolés sans réécrire tout le système. C'est crucial en production : on ne peut pas miser toute la pile sur une seule implémentation. Par exemple, si l'outil d'orchestration ne convient pas pour une raison quelconque, ou si une intégration avec un système existant est nécessaire, on peut choisir une alternative sans réécrire la couche d'intégration ni celle d'exécution.

À qui s'adresse cette architecture ?

La solution vise les équipes plateforme de grandes entreprises ou de startups ambitieuses qui veulent :

• Permettre aux développeurs de déployer eux-mêmes des agents IA, sans avoir à construire l'infrastructure de zéro
• Éviter le lock-in vis-à-vis de services cloud comme Azure AI Services ou AWS Bedrock
• Garantir fiabilité, sécurité et prévisibilité en production

La solution tourne sur Kubernetes, le standard industriel de la conteneurisation en entreprise. Cela signifie que la plupart des outils DevOps existants (pipelines CI/CD, politiques réseau, stratégies de sauvegarde) fonctionneront d'emblée, sans refonte.

Ce que cela signifie

Le déploiement d'agents IA en production quitte le stade expérimental pour devenir une pratique d'ingénierie standard. Les architectures de référence ouvertes et les bonnes pratiques abaissent la barrière d'entrée et accélèrent l'adoption pour les équipes qui ne peuvent pas ou ne veulent pas écrire leur propre runtime de zéro. C'est d'autant plus important en entreprise, où la fiabilité et la conformité aux exigences de sécurité passent avant la vitesse de prototypage.