Le problème n'est pas le LLM : quand l'architecture se fait passer pour la qualité du modèle

Le déploiement de LLM dans des services clients a mis au jour un schéma dangereux : quand un LLM donne une mauvaise réponse, ce n'est souvent pas sa faute.

Démo contre réalité

Lors de la démo pilote, le système fonctionnait à merveille : le modèle répondait avec aisance, l'entreprise voyait des progrès, et l'équipe comparait différents LLM et retouchait les prompts. Puis sont arrivés de vrais utilisateurs, de vraies données et de vraies contraintes. Les réponses sont devenues assurées, mais parfois fausses.

Le modèle n'était pas en cause

L'équipe prévoyait de passer à un LLM plus puissant. Mais l'analyse des logs a montré que, dans une partie des dialogues, le modèle n'aurait pas dû répondre du tout. Le routing envoyait l'utilisateur vers la branche answer alors que l'API renvoyait une partial response, cas où il faut un handoff vers un humain.

• Le problème venait du routage, pas de la qualité de génération
• L'API renvoie partial, le système doit donc orienter l'utilisateur vers le support
• Mais le LLM recevait le partial comme une réponse complète et produisait une génération convaincante, mais fausse
• Le modèle mettait élégamment en mots les erreurs de l'architecture

Où se cachaient les vraies erreurs

Les bugs les plus coûteux n'étaient pas dans le LLM. Ils se trouvaient dans :

• Le routing, qui envoie les utilisateurs vers les mauvaises branches
• Les intégrations d'API, qui ne distinguent pas réponse partial et full
• La logique de handoff, c'est-à-dire le moment de passer la main à un humain
• La base de connaissances, avec des informations obsolètes ou incomplètes
• La couche de compliance, c'est-à-dire la conformité aux réglementations
• Les métriques, c'est-à-dire ce qui compte réellement comme une erreur

Le déclic

Le basculement est survenu quand la question a changé. Au lieu de « Pourquoi le LLM a-t-il mal répondu ? », l'équipe s'est demandé : « Pourquoi le système a-t-il placé le modèle dans une situation où aucune bonne réponse n'était possible ? »

Le constat est amer : un LLM puissant ne compense pas une architecture faible. Sans routing solide, sans responsable de la base de connaissances et sans logique de handoff claire, comparer les modèles devient souvent une diversion coûteuse. Mieux vaut investir son temps dans le système que dans les prompts.