Un agent d’IA a ramené le délai médian de résolution des tickets de 22 heures à 22 minutes
Un agent d’IA utilisé par le support a ramené le délai médian de résolution effective d’un ticket de 21 heures et 52 minutes à 22 minutes. Mais la clôture administrative prenait toujours 49 heures, tandis que deux réponses sur dix sont devenues plus rapides, mais moins bonnes après une mise à jour. La principale leçon de ce cas : la vitesse et le statut « résolu » ne peuvent servir d’indicateurs de qualité sans examiner le contenu de la réponse.
Traité par IA depuis Habr AI ; édité par Hamidun News
Le chiffre paraît presque indécemment bon : après le lancement d’un agent d’IA, le délai médian avant la résolution effective d’une demande est passé de 21 heures et 52 minutes à 22 minutes, soit une accélération d’environ 59 fois. Pourtant, ce sont précisément les résultats de ce type qu’il est le plus dangereux d’accepter sans les analyser.
L’équipe a étudié 1 876 demandes clôturées avant le lancement et 3 078 après celui-ci. Il ne s’agissait pas d’une expérience contrôlée : les sujets, le volume du flux et le nombre d’incidents de masse différaient. Ce cas ne prouve donc pas que l’agent a produit à lui seul la totalité de l’effet. Il montre en revanche très bien comment mesurer une automatisation en production et à quel moment de beaux indicateurs commencent à mentir.
Un ticket clôturé ne signifie pas encore que le problème est résolu
Dans le CRM, une demande pouvait rester ouverte pendant deux jours après que l’utilisateur avait reçu, en 12 minutes, une procédure opérationnelle. La situation inverse se produisait également : le statut de la fiche changeait alors qu’aucune réponse substantielle n’avait encore été fournie.
L’équipe a donc défini comme point de résolution la dernière réponse utile de l’agent ou de l’ingénieur avant la traîne technique. Un remerciement de l’utilisateur, une clôture automatique, un changement de statut, une demande de journaux ou un commentaire interne n’étaient pas considérés à eux seuls comme une résolution.
L’écart s’est révélé immense. Après le lancement, la médiane de résolution effective était de 22 minutes, contre 49 heures et 2 minutes pour la clôture administrative. La longue traîne n’avait toutefois pas disparu : 90% des demandes obtenaient une résolution en 76 heures et 36 minutes. Une médiane isolée aurait facilement masqué les cas difficiles.
Sur les 3 078 tickets clôturés, l’agent en a résolu 1 647 et en a transmis 743 autres aux ingénieurs ; les 688 restants ne sont pas passés par le circuit de l’agent. La part de 53,5% ne doit cependant pas être interprétée comme « l’agent a remplacé un ingénieur dans la moitié des cas ». On lui confiait à l’avance les sujets pour lesquels le diagnostic était clair, les données accessibles et le scénario sûr. Les dossiers complexes restaient plus souvent entre les mains des humains.
Plus rapide signifie parfois moins bon
Après une nouvelle mise à jour, l’équipe a rejoué dix anciens tickets sans envoyer les réponses aux clients. Dans cinq cas, la nouvelle version a mieux répondu ; dans deux, elle a fourni une réponse à peu près équivalente ; dans un cas, le résultat était mitigé ; et dans deux cas, il s’est dégradé. Les deux réponses moins bonnes ont été produites plus rapidement que les précédentes.
Dans l’un des exemples, l’agent avait cessé de corriger des fautes de frappe évidentes dans les codes d’objets. Une recherche stricte protégeait contre les faux positifs, mais ne comprenait pas la différence entre le chiffre 0, la lettre latine O et la lettre cyrillique O. Formellement, le comportement était devenu plus sûr et plus reproductible, mais moins utile pour l’utilisateur.
La correction a consisté en une exploration limitée des substitutions admissibles. Le système ne vérifie que des variantes prédéfinies et accepte la correction lorsqu’une correspondance unique est trouvée. S’il trouve plusieurs correspondances, l’agent demande une précision. C’est un compromis pratique entre les conjectures du modèle et une rigidité inutile.
Ce qu’il faut vérifier en production
Première règle : séparer le résultat de l’outil de son statut. Une réponse vide peut signifier qu’aucun enregistrement n’existe, mais aussi indiquer un délai d’attente dépassé, l’indisponibilité d’un service, des droits insuffisants ou des données incomplètes. L’agent ne doit pas transformer l’échec d’une vérification en diagnostic assuré.
Deuxième règle : ne pas autoriser le modèle à présenter un détail technique plausible comme un fait établi. Le nom d’une table, d’un champ ou d’une API ne doit apparaître dans la réponse que s’il a été trouvé dans les données actuelles, dans la documentation ou dans un schéma vérifié.
Troisième règle : maintenir un jeu de régression composé de demandes réelles. Il faut l’enrichir après chaque nouvelle catégorie d’erreur et l’exécuter à chaque modification du prompt, des outils, de la recherche ou de l’ordre des sources. La pertinence d’une action technique et la qualité de la réponse destinée à l’utilisateur doivent être évaluées séparément.
La conclusion pratique est simple : le déploiement d’un agent ne s’achève ni avec sa mise en production ni avec un taux élevé de résolutions automatiques. Il faut mesurer la médiane et le 90e percentile du délai avant une réponse utile, analyser les escalades, expliciter les statuts des outils et effectuer en permanence des tests de régression. Sinon, l’équipe risque de ne pas corriger l’erreur, mais simplement d’apprendre au système à la commettre plus vite.
- 12 nov. 2026Claude in Chrome exige une autorisation pour chaque clic sur les sites de catégorie 3
- 12 nov. 2026Norwest lève un fonds record de 4 Md$ et mise sur les agents, la voix et l'IA physique
- 12 nov. 2026AWS montre comment 100 % de précision de recherche masquent l'échec d'un agent IA
- 12 nov. 2026Garage Eight a supprimé les approbations externes sur 69 MR d'un service interne grâce à la revue par IA
Questions clés sur cet article
Que sait-on sur Un ticket clôturé ne signifie pas encore que le problème est résolu ?
Dans le CRM, une demande pouvait rester ouverte pendant deux jours après que l’utilisateur avait reçu, en 12 minutes, une procédure opérationnelle. La situation inverse se produisait également : le statut de la fiche changeait alors qu’aucune réponse substantielle n’avait encore été fournie. L’équipe a donc défini comme point de résolution la dernière réponse utile de l’agent ou de l’ingénieur avant la traîne technique.
Que sait-on sur Plus rapide signifie parfois moins bon ?
Après une nouvelle mise à jour, l’équipe a rejoué dix anciens tickets sans envoyer les réponses aux clients. Dans cinq cas, la nouvelle version a mieux répondu ; dans deux, elle a fourni une réponse à peu près équivalente ; dans un cas, le résultat était mitigé ; et dans deux cas, il s’est dégradé. Les deux réponses moins bonnes ont été produites plus rapidement que les précédentes. Dans l’un des exemples, l’agent avait cessé de corriger des fautes de frappe évidentes dans les codes d’objets.
Que sait-on sur Ce qu’il faut vérifier en production ?
Première règle : séparer le résultat de l’outil de son statut. Une réponse vide peut signifier qu’aucun enregistrement n’existe, mais aussi indiquer un délai d’attente dépassé, l’indisponibilité d’un service, des droits insuffisants ou des données incomplètes. L’agent ne doit pas transformer l’échec d’une vérification en diagnostic assuré. Deuxième règle : ne pas autoriser le modèle à présenter un détail technique plausible comme un fait établi.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.