Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

RAG sur des spécifications d'usine : 84 % de précision, mais 161 appuis au lieu de deux

L'équipe de PSM a chargé dans un RAG 44 documents sur la centrale électrique à moteurs à gaz AGBa1000 et l'a testé sur 188 questions : la précision est passée de 77,7 % à 84 %. Mais la moyenne cache l'essentiel. Le parseur a fusionné les colonnes d'un scan et, au lieu de deux appuis de générateur, l'assistant en a vu 161. Le modèle a commis une autre erreur en prenant un réservoir de carburant inexistant pour un réservoir réel.

Traité par IA depuis Habr AI ; édité par Hamidun News
RAG sur des spécifications d'usine : 84 % de précision, mais 161 appuis au lieu de deux
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Indexez les scans de tableaux ligne par ligne, avec l'en-tête des colonnes
Chiffre clé #2Reliez explicitement la centrale, le moteur et les versions des documents
Vérifiez les référencesdans 19 cas, ce n'est pas l'IA qui s'est trompée, mais le test

Une histoire typique de RAG d'entreprise : la démo impressionne, dix belles réponses d'affilée, et l'on a l'impression de pouvoir lancer le produit. L'équipe de PSM, qui développe un assistant destiné aux ingénieurs chargés de la documentation d'équipements énergétiques, a décidé de ne pas se fier à l'impression et de compter les erreurs. Il en ressort que « a trouvé le bon document » et « a répondu correctement » sont deux choses très différentes.

Ce qui a été testé et comment

Pour le pilote, l'équipe a retenu une centrale à moteurs à gaz AGBa1000 d'une puissance de 1 MW. La base de connaissances comprenait 44 documents : 29 PDF, 12 Word et 3 Excel. La moitié des documents est en russe, l'autre moitié en anglais, mais en volume d'index, 94 % des fragments sont en anglais : les principaux manuels sont rédigés par les fabricants des composants. Au total, on obtient 27 007 fragments de recherche.

Le jeu de contrôle comptait 188 questions avec réponses de référence : paramètres de l'équipement, modes de fonctionnement, composition, règlements de maintenance. La vérification est automatique : comparaison des chiffres avec la référence et évaluation du sens par un modèle indépendant. Il s'agit d'un test de convergence, et non d'une recette par des experts, et l'équipe le dit clairement.

Deux correctifs ont fait passer la précision de 77,7 % à 84 %. Les lignes de tableaux ont été indexées comme des faits autonomes, et les modèles ont commencé à recevoir 10 fragments de contexte au lieu de 5. Le bon document figure désormais dans les dix premiers résultats dans 96,3 % des cas (contre 94,1 %), et en première position dans 71,3 % des cas (contre 62,8 %). Les faux refus « pas de données » sont tombés de 11,7 % à 6,9 %.

Mais la moyenne comporte une nuance : sur 26 questions, le système s'est mis à répondre correctement, et sur 14, moins bien. De plus, lorsque les spécialistes de l'usine ont comparé une partie des références aux sources primaires, la référence elle-même s'est révélée fausse dans 19 cas. Avant d'exiger quoi que ce soit du modèle, vérifiez les données de test.

Trois erreurs invisibles dans le pourcentage

161 appuis. La base contenait une lettre technique du fabricant du générateur avec un tableau : pour 800–1120 kW, du gaz et le mode COP, il faut 2 appuis. L'assistant a d'abord répondu qu'il n'y avait pas de données. Lors d'un autre passage, le parseur du scan a fusionné des colonnes voisines : la plage de puissance est devenue 16 000–16 100 kW, et le nombre d'appuis, 161. Le LLM n'a pas halluciné ici : il a consciencieusement restitué ce que lui fournissait l'index. L'erreur est née à l'étape du parsing.

Deux documents sans lien. À la question sur les paliers de charge, le manuel d'exploitation dit seulement « par paliers ». Les chiffres précis (pas plus de 10 % jusqu'à la moitié de la puissance et pas plus de 5 % au-delà) figuraient dans la lettre du fabricant du moteur, où la centrale AGBa1000 n'était pas mentionnée.

L'assistant n'a pas fait le rapprochement. L'équipe a d'ailleurs débattu de la possibilité même de transposer les paramètres d'un moteur « nu » à un groupe complet : en pratique, la vitesse de prise de charge dépend de la qualité du gaz, de la température et du mode de fonctionnement. La bonne réponse doit citer les recommandations du fabricant du moteur avec la référence et préciser explicitement les limites d'applicabilité.

Le réservoir inexistant. On a demandé à l'assistant de calculer l'autonomie de la centrale avec un réservoir de carburant plein. Il a trouvé la consommation de gaz (161, 229 et 294 m³/h), écrit la formule et demandé le volume du réservoir. Or la centrale est alimentée par le réseau de gaz et n'a pas de réservoir. Le système a accepté la fausse prémisse et s'est mis à calculer. Pour un assistant qu'utiliseront des managers et des techniciens de service, c'est un défaut sérieux.

Quand les documents se contredisent

Une trouvaille à part : les documents officiels se contredisent. Dans le passeport de la centrale, la puissance en régime continu est de 1150 kW ; dans le document du fabricant du moteur, de 1280 kW. Le manuel prescrit de remplacer les bougies toutes les 1500 heures de fonctionnement, l'instruction de maintenance du moteur, toutes les 5000.

Il est impossible de choisir le fichier le plus récent, de retenir la valeur la plus fréquente ou de faire la moyenne. La seule option raisonnable consiste à montrer le conflit en indiquant les sections et les pages, et à demander la confirmation d'un ingénieur. Le RAG devient ainsi un outil d'audit préliminaire de la documentation, même si ce sont toujours des personnes qui doivent éliminer les écarts.

Ce qu'il faut en retenir

Premièrement : ne confiez pas les tableaux scannés à un parseur de texte généraliste. Indexez-les ligne par ligne en conservant les en-têtes de colonnes, ou validez-les avec des modèles spécialisés. L'indexation ligne par ligne a fait passer la part des réponses aux chiffres corrects de 70,8 % à 78,3 %, mais les scans complexes avec plans et annotations manuscrites continuent de poser problème.

Deuxièmement : un dossier de fichiers n'est pas une base de connaissances. Il faut des liens explicites entre le produit, les composants, les versions d'exécution et les versions des documents, faute de quoi le fait trouvé restera inutile.

Troisièmement : apprenez à l'assistant à repérer les prémisses erronées et les conflits entre sources. Parfois, la meilleure réponse consiste à expliquer pourquoi on ne peut pas calculer ainsi.

Et surtout, la limite principale : les 84 % proviennent d'une vérification automatique sur une seule centrale, et une partie des références s'est avérée fausse. C'est un bon repère de travail, mais pas une preuve de préparation à la production. Pour la documentation d'ingénierie, ne mesurez pas la précision moyenne, mais les types d'erreurs : ce sont eux qui montrent où se situe le problème — dans le parsing, dans les liens entre documents ou dans la logique de la réponse.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été testé et comment ?

Pour le pilote, l'équipe a retenu une centrale à moteurs à gaz AGBa1000 d'une puissance de 1 MW. La base de connaissances comprenait 44 documents : 29 PDF, 12 Word et 3 Excel. La moitié des documents est en russe, l'autre moitié en anglais, mais en volume d'index, 94 % des fragments sont en anglais : les principaux manuels sont rédigés par les fabricants des composants. Au total, on obtient 27 007 fragments de recherche.

Que sait-on sur Trois erreurs invisibles dans le pourcentage ?

161 appuis. La base contenait une lettre technique du fabricant du générateur avec un tableau : pour 800–1120 kW, du gaz et le mode COP, il faut 2 appuis. L'assistant a d'abord répondu qu'il n'y avait pas de données. Lors d'un autre passage, le parseur du scan a fusionné des colonnes voisines : la plage de puissance est devenue 16 000–16 100 kW, et le nombre d'appuis, 161. Le LLM n'a pas halluciné ici : il a consciencieusement restitué ce que lui fournissait l'index. L'erreur est née à l'étape du parsing.

Quand les documents se contredisent?

Une trouvaille à part : les documents officiels se contredisent. Dans le passeport de la centrale, la puissance en régime continu est de 1150 kW ; dans le document du fabricant du moteur, de 1280 kW. Le manuel prescrit de remplacer les bougies toutes les 1500 heures de fonctionnement, l'instruction de maintenance du moteur, toutes les 5000. Il est impossible de choisir le fichier le plus récent, de retenir la valeur la plus fréquente ou de faire la moyenne.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…