Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Le testeur a vu un « prix » dans « avant 2027 » : 4 scénarios rouges sur 7 étaient de faux positifs

L'autotest d'un chatbot pour amoCRM a levé un critical pour « prix annoncé », alors que le bot avait écrit « dépôt avant 2027 » : l'expression régulière a lu l'année comme « jusqu'à 2027 roubles ». Une seule erreur de ce type suffit à faire passer le run au rouge et à bloquer la mise en production du bot. Le soir du 15 octobre, sur 7 scénarios rouges, 4 échouaient à cause du testeur lui-même. Avant de toucher au prompt, lisez la réponse en entier et déterminez à qui revient le bug : à l'environnement, au bot ou au testeur.

Traité par IA depuis Habr AI ; édité par Hamidun News
Le testeur a vu un « prix » dans « avant 2027 » : 4 scénarios rouges sur 7 étaient de faux positifs
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Un message d'accueil à base de modèle fixe, terminé par une question, a provoqué 68 violations « deux questions en un seul message »
Chiffre clé #2gpt-5-mini a passé proprement 15 scénarios sur 19, gpt-5-nano 10
Smoke test sur la journéede 0 à 2 scénarios verts sur 19 le matin à 17 sur 19 le soir

Imaginez : vous avez écrit un autotest pour un chatbot, vous le lancez avant le déploiement, et il renvoie un rapport rouge marqué critical — « le bot a annoncé un prix ». Vous ouvrez le dialogue et vous lisez : « le dépôt avant 2027 est tout à fait réaliste ». Aucun prix là-dedans : le testeur a pris une année pour une somme en roubles.

C'est exactement ce qui est arrivé le 15 octobre à l'équipe d'Octery, qui développe des bots pour les chats amoCRM. Le rapport contenait huit violations de niveau critical, et il a fallu une journée pour déterminer lesquelles étaient réelles. Pour tous ceux qui mettent des bots LLM en production, la leçon est simple : un test rouge ne signifie pas un mauvais bot, et il faut d'abord établir qui est en faute.

Comment une année est devenue un prix

Le bot répond aux leads dans Telegram : il salue, cherche à comprendre le besoin, demande un contact et transmet le deal à un manager. L'équipe prépare actuellement un pilote avec une société de conseil en immigration. Là-bas, le bot ne doit pas promettre de résultat, ne doit pas annoncer de prix ni se faire passer pour un juriste, et il est tenu de répondre « oui » à la question directe « vous êtes un bot ? ». Seul le manager parle d'argent ; un prix annoncé par le bot est donc une violation critique, et une seule réponse de ce genre suffit à clore le run en rouge.

Le testeur fonctionne en boîte noire. Depuis un compte distinct, il écrit au bot comme un client ordinaire, attend la réponse et la vérifie selon des règles. Il ne regarde ni l'intérieur du bot, ni amoCRM. Il y a 162 scénarios : questions sur la base de connaissances, tentatives d'obtenir un prix ou une garantie, questions juridiques, flood, insultes, changement de langue en pleine conversation et 42 « personas » avec leurs propres histoires. Le bot répond en moyenne en 18-19 secondes ; un smoke test rapide de 19 scénarios dure donc de 36 à 45 minutes.

Le prix a été « trouvé » par une expression régulière, un motif de recherche dans le texte : les mots « de », « jusqu'à », « environ », « approximativement », « de l'ordre de », suivis d'un nombre d'au moins trois chiffres. « Jusqu'à 2027 » correspondait au motif. Elle avait aussi attrapé « environ 100 publications par an » et « à partir de 2020 ». Le problème se reproduit hors ligne en une minute, mais personne ne l'avait vérifié avant le lancement. Le correctif est simple : à côté du nombre, il doit y avoir une devise ou un mot comme « coûte », « prix », « budget ».

Deux autres erreurs du testeur lui-même

À un premier message, le bot répond par deux bulles : le message d'accueil arrive tout de suite, la réponse du modèle une cinquantaine de secondes plus tard — environ cinq secondes plus tard, plus exactement. Le testeur assemblait la réponse avec une fenêtre de silence de neuf secondes, et si le modèle réfléchissait plus longtemps, il repartait avec le seul message d'accueil. D'où la « réponse vide du bot » et un critical sur le scénario « Vous êtes juristes ? », où le bot n'aurait soi-disant pas orienté la personne vers un avocat. Il l'a fait, mais dans la seconde bulle, que le testeur n'a pas attendue.

La troisième erreur était inscrite dans les exigences. Pour les personas, des sujets étaient obligatoires : le bot doit demander le domaine, l'objectif et si la personne a déjà un avocat. Or une règle distincte interdisait de reposer une question dont le client avait déjà donné la réponse. Une persona qui écrivait dans son premier message « je travaille avec un avocat » enfermait le bot dans un piège : s'il posait la question, il la reposait ; s'il ne la posait pas, il omettait un sujet obligatoire. Le sujet « domaine » figurait dans 30 scénarios, « a déjà un avocat » dans 24, et dans chacun le bot pouvait perdre quelle que soit sa réponse.

Bilan de la journée : 14 runs, et le soir il restait 7 scénarios rouges, dont 4 échouaient à cause de la rigidité du testeur lui-même.

Quand le testeur avait raison

La règle la plus souvent déclenchée dans la journée était « deux questions dans un seul message » : 68 fois. Au début, cela ressemblait à de la verbosité du modèle, qu'on corrige par le prompt. Mais les dialogues ont révélé une autre cause : le message d'accueil, fixe, n'était pas écrit par le modèle et se terminait par la question « Quelle est votre demande ?

». Juste après, le modèle répondait au message du client et posait sa propre question. Chaque partie ne posait qu'une question, mais l'utilisateur en recevait deux d'affilée.

L'équipe avait écrit ce modèle elle-même et ne l'avait pas relu depuis longtemps. Quand la question a été retirée du message d'accueil, la violation a disparu.

Sur la journée, le smoke test est passé de 0 à 2 scénarios verts sur 19 le matin à 17 sur 19 le soir. Ce résultat cumule le changement de modèle, la réécriture de l'entonnoir de questions, les corrections du modèle de message et celles du testeur. L'équipe n'a pu isoler la contribution de chacun que parce que chaque échec avait été analysé séparément.

Le testeur a aussi permis une comparaison honnête des modèles. Sur les mêmes 19 scénarios, gpt-5-nano en a passé proprement 10, gpt-5-mini 15. Relever le reasoning effort (la profondeur de raisonnement) de mini de low à medium n'a pas ajouté de scénarios verts. Mini coûte plus cher, mais la différence se chiffre en centimes par dialogue ; c'est donc ce modèle qui a été retenu pour le pilote. Sans le testeur, le choix se serait fait à l'impression, sur quelques échanges.

Comment analyser un échec

Avant de réparer quoi que ce soit, l'auteur range chaque échec dans l'une de trois catégories :

  • ENV : l'environnement n'a pas répondu, le pipeline a planté, Telegram n'a pas délivré le message ;
  • BOT : le bot a répondu, et mal répondu ;
  • TESTER : la règle s'est déclenchée sur une réponse normale.

La troisième catégorie se trahit presque toujours de la même façon : on lit la réponse en entier et on ne voit pas ce qui cloche. Les réponses d'un LLM varient légèrement à chaque fois ; il est donc facile de prendre une défaillance du testeur pour une mauvaise génération, et une mauvaise génération pour une défaillance du testeur. La règle pratique : lire d'abord le texte de la réponse, puis seulement le nom de la violation. Si le rapport dit « le bot a annoncé un prix » et que la réponse contient « 2027 », c'est votre propre code qu'il faut corriger.

Ce récit décrit l'expérience d'un seul projet et d'un seul pilote, et l'auteur ne donne pas le coût d'un dialogue en chiffres. Mais la leçon vaut pour toute équipe : faites tourner les règles hors ligne sur de vraies réponses avant le lancement, ne placez pas règles obligatoires et règles interdisantes dans le même piège, et relisez les morceaux fixes du bot aussi attentivement que le prompt.

Dossier

Questions clés sur cet article

Comment une année est devenue un prix?

Le bot répond aux leads dans Telegram : il salue, cherche à comprendre le besoin, demande un contact et transmet le deal à un manager. L'équipe prépare actuellement un pilote avec une société de conseil en immigration. Là-bas, le bot ne doit pas promettre de résultat, ne doit pas annoncer de prix ni se faire passer pour un juriste, et il est tenu de répondre « oui » à la question directe « vous êtes un bot ? ».

Que sait-on sur Deux autres erreurs du testeur lui-même ?

À un premier message, le bot répond par deux bulles : le message d'accueil arrive tout de suite, la réponse du modèle une cinquantaine de secondes plus tard — environ cinq secondes plus tard, plus exactement. Le testeur assemblait la réponse avec une fenêtre de silence de neuf secondes, et si le modèle réfléchissait plus longtemps, il repartait avec le seul message d'accueil. D'où la « réponse vide du bot » et un critical sur le scénario « Vous êtes juristes ?

Quand le testeur avait raison?

La règle la plus souvent déclenchée dans la journée était « deux questions dans un seul message » : 68 fois. Au début, cela ressemblait à de la verbosité du modèle, qu'on corrige par le prompt. Mais les dialogues ont révélé une autre cause : le message d'accueil, fixe, n'était pas écrit par le modèle et se terminait par la question « Quelle est votre demande ? ». Juste après, le modèle répondait au message du client et posait sa propre question.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…