AWS crée NarrateAI, un assistant d'analyse métier sur Amazon Bedrock AgentCore

AWS a dévoilé l'architecture de NarrateAI, un assistant conversationnel reposant sur Amazon Bedrock AgentCore, qui aide la division SMGS (Sales, Marketing and Global Services) à faire passer son analyse métier à l'échelle. Le système associe traitement par lots et interaction en temps réel pour livrer des insights à l'échelle de l'organisation.

Une architecture à deux couches

NarrateAI sépare le traitement en deux couches indépendantes. La première exécute les tâches par lots : préparation des données, calcul des métriques et mise en cache des résultats. Elle offre un débit élevé et économise des ressources de calcul. La couche batch fonctionne de manière asynchrone et parallélise le traitement de grands jeux de données.

La seconde couche traite les requêtes des utilisateurs en temps réel : interaction conversationnelle, redirection vers les bons agents et validation des données d'entrée. Elle est responsable de la latence et de la qualité de la réponse au moment de la requête.

Amazon Bedrock AgentCore facilite la gestion de l'orchestration entre les couches et l'exécution parallèle des agents spécialisés. Cette séparation est essentielle pour le passage à l'échelle : la couche batch absorbe le volume croissant de données, tandis que la couche temps réel garde la latence sous contrôle et n'est pas bloquée par les longs calculs.

Des agents spécialisés

Plutôt qu'un assistant monolithique, AWS utilise un réseau d'agents spécialisés, chacun avec son propre périmètre. L'agent de validation vérifie que la requête entrante est correcte et complète avant de la transmettre au pipeline principal. L'agent de routage détermine à quelle division SMGS (ventes, marketing, services globaux) adresser la requête, en tenant compte du contexte. Les agents de connaissances fournissent le contexte propre à chaque division : métriques, tendances historiques et processus internes. L'agent de synthèse fusionne les réponses de différentes sources en une recommandation cohérente, celle que voit l'utilisateur.

Cette architecture réduit le taux d'erreurs, améliore la pertinence des réponses, simplifie l'ajout de nouveaux agents et facilite le débogage.

Les patterns d'ingénierie pour la production

AWS met en avant plusieurs pratiques qui ont permis de lancer NarrateAI à grande échelle :

• Dégradation gracieuse (graceful degradation) : si un agent est indisponible, le système propose une réponse alternative plutôt qu'une erreur
• Suivi des coûts : chaque agent suit son coût de traitement, et le système optimise les routes
• Observabilité dans la chaîne d'agents : journalisation, traçage et surveillance de la latence à chaque nœud
• Limitation de débit et priorisation : la couche batch ne bloque pas les requêtes en temps réel, et les files d'attente sont séparées
• Mise en cache des réponses des agents pour les requêtes fréquentes

Ces patterns ont aidé AWS à atteindre une grande fiabilité et un comportement prévisible en production.

Ce que cela signifie

L'article montre que les systèmes d'IA de qualité production exigent plus qu'un LLM : il leur faut une architecture capable de gérer l'échelle, la latence et la fiabilité. Agents spécialisés, traitement à deux couches et dégradation gracieuse sont des pratiques que d'autres entreprises peuvent appliquer avec Amazon Bedrock. Pour les développeurs, cela signifie que l'orchestration d'IA devient une couche distincte entre le LLM et la logique métier.