Comment Just AI a aidé une banque à percer son plafond d'automatisation avec des agents LLM

L'équipe de Just AI a publié l'analyse d'un cas réel : comment faire passer le support client d'une banque de bots NLU à des agents LLM sans récolter une vague d'hallucinations au lieu d'un gain d'automatisation.

Un plafond impossible à contourner

Quand un scénario NLU grossit jusqu'à plusieurs centaines de branches, ajouter de nouveaux dialogues n'aide plus. Le bot se trompe sur les cas limites, exige une maintenance constante de l'annotation et déraille face aux formulations atypiques. Le taux d'automatisation stagne. C'est exactement ce qu'a vécu la banque : son système NLU mature sur le cashback a atteint sa limite. Le problème ne venait pas de la qualité du paramétrage, mais de l'architecture. Les bots NLU classiques fonctionnent avec des règles rigides : ils reconnaissent les intentions pour lesquelles ils ont été entraînés, mais gèrent mal les variations sémantiques et le contexte au sein d'un long dialogue.

Ce qui a changé avec les agents LLM

Just AI a proposé de passer à une architecture à base d'agents LLM. À la place d'un arbre de scénarios rigide, un modèle de langage comprend le sens de la demande, conserve le contexte et génère la réponse à partir de la base de connaissances à jour. Principaux changements dans le système :

• Le classificateur NLU a été remplacé par une compréhension par LLM, y compris pour les reformulations et les formulations atypiques
• Prise en charge de dialogues multitours avec conservation du contexte
• Les réponses s'appuient sur la base de connaissances de la banque, et non sur des scripts codés en dur
• Un agent juge a été introduit pour vérifier chaque réponse avant envoi
• Si une réponse n'est pas confirmée par une source, elle est bloquée et le client est transféré à un opérateur

Un agent juge contre les hallucinations

Le principal risque du déploiement de LLM dans le support bancaire, ce sont les hallucinations : le modèle peut annoncer avec assurance de mauvaises conditions de cashback ou des règles inexistantes. Pour une banque, ce n'est pas qu'une mauvaise expérience utilisateur : cela comporte des risques réglementaires et de réputation. Just AI a réglé le problème par une vérification à deux niveaux. Le premier agent génère la réponse. Le second, l'agent juge, la vérifie à partir de la base de connaissances d'origine. Le client reçoit soit une réponse correcte, soit un transfert vers un opérateur humain.

« Le plafond d'automatisation n'est pas un bug, c'est la limite architecturale du NLU.

Nous avons aidé la banque à le percer en changeant de technologie, et non en retouchant les réglages », — Just AI.

Ce que cela signifie

Le passage des bots NLU aux agents LLM n'est pas une mise à niveau, mais un changement de paradigme. Pour les banques et les autres entreprises réglementées, il n'est possible qu'avec un contrôle qualité intégré : l'agent juge devient ici un élément architectural obligatoire, et non une option.