L'Erreur n'Est pas dans le LLM : Comment l'Architecture Masque les Problèmes en tant que Qualité du Modèle

L'expérience de mise en œuvre des LLM dans les services aux clients a révélé un motif dangereux : quand un LLM donne une mauvaise réponse, ce n'est souvent pas sa faute.

Démo vs réalité

Lors de la démonstration pilote, le système fonctionnait parfaitement : le modèle répondait en douceur, l'entreprise voyait des progrès, l'équipe comparait différents LLM et ajustait les prompts. Puis les vrais utilisateurs sont arrivés avec de vraies données et de vraies contraintes. Les réponses sont devenues confiantes, mais parfois incorrectes.

La culpabilité n'incombe pas au modèle

L'équipe envisageait de passer à un LLM plus puissant. Mais l'analyse des journaux a montré : dans certains dialogues, le modèle n'aurait pas dû répondre du tout. Le routage envoyait l'utilisateur vers une branche de réponse alors que l'API retournait une réponse partielle — dans ces cas, il fallait transférer vers un humain.

• Le problème était dans le routage, pas dans la qualité de la génération
• L'API retourne partielle — le système devrait rediriger vers le support
• Mais le LLM a reçu le partielle comme une réponse complète et a écrit une génération confiante, mais incorrecte
• Le modèle a éloquemment exprimé les erreurs architecturales

Là où vivaient les vrais erreurs

Les bogues les plus coûteux n'étaient pas dans le LLM. Ils étaient dans :

• Routage — envoie incorrectement les utilisateurs via des branches
• Intégration API — réponse partielle vs complète non différenciée
• Logique de transfert — quand transférer vers un humain
• Base de connaissances — informations obsolètes ou incomplètes
• Couche de conformité — conformité réglementaire
• Métriques — ce qui compte comme une erreur du tout

Le point d'inflexion

Le changement s'est produit quand la question a changé. Au lieu de « Pourquoi le LLM a-t-il répondu incorrectement ? » l'équipe a demandé : « Pourquoi le système a-t-il mis le modèle dans une situation où une réponse correcte était impossible ? »

Conclusion

Un LLM puissant ne compense pas une architecture faible. S'il n'y a pas de routage approprié, pas de propriétaire de base de connaissances et pas de logique de transfert claire, la comparaison de modèles devient souvent une distraction coûteuse. Mieux vaut consacrer du temps au système qu'aux prompts.