Hallucinations selon les normes: pourquoi on ne peut pas faire confiance à ChatGPT sur les chantiers

Imaginez construire une maison en vous basant sur les conseils de la personne la plus érudite du monde, qui souffre cependant d'une légère amnésie et est encline aux fantasmes. C'est exactement la situation dans laquelle se trouvait Alexei Krivonosov, propriétaire d'une entreprise de construction, quand il a décidé de déléguer le travail routinier à ChatGPT. Au début, tout allait parfaitement.

Le réseau de neurones écrivait avec enthousiasme des scénarios pour la chaîne YouTube de l'entreprise, compilait des plans de contenu et perfectionnait des rapports techniques. C'est un piège classique : quand l'IA excelle dans les tâches créatives, cela crée l'illusion qu'elle est tout aussi bonne en sciences exactes. Mais le diable, comme toujours, se cachait dans les normes et réglementations de construction.

Le problème a surgi quand ChatGPT a été confié à la documentation réglementaire — SNiPs et GOSTs. Pour ceux qui ne sont pas familiers avec la construction : ce ne sont pas simplement des livres ennuyeux, mais des réglementations strictes où chaque chiffre est payé de la sécurité de quelqu'un. Le réseau de neurones a commencé à se comporter comme un étudiant négligent lors d'un examen : quand il ne connaissait pas la réponse exacte, il l'inventait.

Et il le faisait avec une telle confiance que la tromperie n'a pas été immédiatement remarquée. L'algorithme a généré des points réglementaires inexistants et produit des chiffres qui n'ont jamais existé dans les documents officiels. Dans une industrie où une erreur dans le calcul de la charge d'une poutre peut conduire à une catastrophe, une telle « créativité » est inadmissible.

Pourquoi cela se produit-il ? ChatGPT est un modèle de langage entraîné à prédire le mot suivant, non pas à vérifier les faits dans une base de données. Il fonctionne sur des probabilités, non sur la vérité. Quand vous lui demandez de trouver un point spécifique dans un GOST, il ne « va pas à la bibliothèque », mais construit une réponse qui semble aussi plausible que possible. C'est la trahison des hallucinations : elles ressemblent à la vérité. Pour le marketing, ce n'est pas critique, mais pour l'ingénierie, c'est un arrêt de mort. Alexei a compris qu'utiliser une LLM « brute » dans le travail professionnel, c'est comme jouer à la roulette russe avec un revolver chargé.

Au lieu de se désillusionner face à la technologie, l'équipe d'Alexei a emprunté la voie de la création d'un outil spécialisé. Sur une période de six mois, ils ont développé « Digital Standard ». La différence fondamentale entre cette solution et un chatbot ordinaire est l'utilisation de la technologie RAG (Retrieval-Augmented Generation).

Le concept est simple : les réseaux de neurones n'ont pas le droit de « récupérer » les informations de leur mémoire. À la place, le système est forcé de chercher des réponses dans une base de données vectorisée strictement limitée de véritables normes de construction. Si l'information ne figure pas dans la base de données, le système le dit plutôt que de s'adonner à des fantasmes.

Cela transforme l'IA d'un conteur en une bibliothécaire à grande vitesse.

Le cas de Krivonosov met en lumière un changement tectonique important dans l'industrie. L'époque de la fascination pour les modèles universels est révolue. Les entreprises commencent à comprendre que les tâches réelles nécessitent des solutions verticales. Il ne suffit pas simplement de « connecter une API OpenAI ». Vous devez traiter manuellement les données, les nettoyer de la saleté et configurer des filtres de sortie stricts. C'est seulement alors qu'un réseau de neurones se transforme d'un jouet en un outil de travail. Aujourd'hui, nous voyons de tels systèmes apparaître dans le droit, la médecine et maintenant dans la construction. C'est une étape naturelle dans la maturation de la technologie.

Qu'est-ce que cela signifie pour le marché ? Premièrement, la demande d'« ingénieurs en prompt » est en baisse, cédant la place à la demande d'architectes de données capables de connecter les LLMs aux connaissances d'entreprise. Deuxièmement, la confiance dans les modèles ouverts dans les industries critiques ne fera que diminuer. Nous entrons dans une ère d'« IA de confiance », où la précision est valorisée plus que l'éloquence. L'expérience d'Alexei montre : pour que l'IA soit utile, elle doit d'abord être privée du droit à la créativité où règnent les chiffres et les lois.

Point clé : Les réseaux de neurones généraux comme ChatGPT ont atteint un plafond dans les tâches professionnelles. L'avenir appartient aux systèmes RAG et aux bases de connaissances hautement spécialisées. Êtes-vous prêt à confier le calcul de la fondation de votre maison à un algorithme qui ne peut pas distinguer la vérité de la probabilité ?