Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Un agent d’IA a ramené le délai médian de résolution des tickets de 22 heures à 22 minutes

Un agent d’IA utilisé par le support a ramené le délai médian de résolution effective d’un ticket de 21 heures et 52 minutes à 22 minutes. Mais la clôture administrative prenait toujours 49 heures, tandis que deux réponses sur dix sont devenues plus rapides, mais moins bonnes après une mise à jour. La principale leçon de ce cas : la vitesse et le statut « résolu » ne peuvent servir d’indicateurs de qualité sans examiner le contenu de la réponse.

Traité par IA depuis Habr AI ; édité par Hamidun News
Un agent d’IA a ramené le délai médian de résolution des tickets de 22 heures à 22 minutes
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Mesurez le délai avant une réponse utile, pas avant la clôture de la fiche.
Chiffre clé #2Testez chaque mise à jour de l’agent sur un jeu stable de tickets réels.
Chiffre clé #3Distinguez l’absence de données d’une erreur de l’outil ou d’un manque de droits.

Le chiffre paraît presque indécemment bon : après le lancement d’un agent d’IA, le délai médian avant la résolution effective d’une demande est passé de 21 heures et 52 minutes à 22 minutes, soit une accélération d’environ 59 fois. Pourtant, ce sont précisément les résultats de ce type qu’il est le plus dangereux d’accepter sans les analyser.

L’équipe a étudié 1 876 demandes clôturées avant le lancement et 3 078 après celui-ci. Il ne s’agissait pas d’une expérience contrôlée : les sujets, le volume du flux et le nombre d’incidents de masse différaient. Ce cas ne prouve donc pas que l’agent a produit à lui seul la totalité de l’effet. Il montre en revanche très bien comment mesurer une automatisation en production et à quel moment de beaux indicateurs commencent à mentir.

Un ticket clôturé ne signifie pas encore que le problème est résolu

Dans le CRM, une demande pouvait rester ouverte pendant deux jours après que l’utilisateur avait reçu, en 12 minutes, une procédure opérationnelle. La situation inverse se produisait également : le statut de la fiche changeait alors qu’aucune réponse substantielle n’avait encore été fournie.

L’équipe a donc défini comme point de résolution la dernière réponse utile de l’agent ou de l’ingénieur avant la traîne technique. Un remerciement de l’utilisateur, une clôture automatique, un changement de statut, une demande de journaux ou un commentaire interne n’étaient pas considérés à eux seuls comme une résolution.

L’écart s’est révélé immense. Après le lancement, la médiane de résolution effective était de 22 minutes, contre 49 heures et 2 minutes pour la clôture administrative. La longue traîne n’avait toutefois pas disparu : 90% des demandes obtenaient une résolution en 76 heures et 36 minutes. Une médiane isolée aurait facilement masqué les cas difficiles.

Sur les 3 078 tickets clôturés, l’agent en a résolu 1 647 et en a transmis 743 autres aux ingénieurs ; les 688 restants ne sont pas passés par le circuit de l’agent. La part de 53,5% ne doit cependant pas être interprétée comme « l’agent a remplacé un ingénieur dans la moitié des cas ». On lui confiait à l’avance les sujets pour lesquels le diagnostic était clair, les données accessibles et le scénario sûr. Les dossiers complexes restaient plus souvent entre les mains des humains.

Plus rapide signifie parfois moins bon

Après une nouvelle mise à jour, l’équipe a rejoué dix anciens tickets sans envoyer les réponses aux clients. Dans cinq cas, la nouvelle version a mieux répondu ; dans deux, elle a fourni une réponse à peu près équivalente ; dans un cas, le résultat était mitigé ; et dans deux cas, il s’est dégradé. Les deux réponses moins bonnes ont été produites plus rapidement que les précédentes.

Dans l’un des exemples, l’agent avait cessé de corriger des fautes de frappe évidentes dans les codes d’objets. Une recherche stricte protégeait contre les faux positifs, mais ne comprenait pas la différence entre le chiffre 0, la lettre latine O et la lettre cyrillique O. Formellement, le comportement était devenu plus sûr et plus reproductible, mais moins utile pour l’utilisateur.

La correction a consisté en une exploration limitée des substitutions admissibles. Le système ne vérifie que des variantes prédéfinies et accepte la correction lorsqu’une correspondance unique est trouvée. S’il trouve plusieurs correspondances, l’agent demande une précision. C’est un compromis pratique entre les conjectures du modèle et une rigidité inutile.

Ce qu’il faut vérifier en production

Première règle : séparer le résultat de l’outil de son statut. Une réponse vide peut signifier qu’aucun enregistrement n’existe, mais aussi indiquer un délai d’attente dépassé, l’indisponibilité d’un service, des droits insuffisants ou des données incomplètes. L’agent ne doit pas transformer l’échec d’une vérification en diagnostic assuré.

Deuxième règle : ne pas autoriser le modèle à présenter un détail technique plausible comme un fait établi. Le nom d’une table, d’un champ ou d’une API ne doit apparaître dans la réponse que s’il a été trouvé dans les données actuelles, dans la documentation ou dans un schéma vérifié.

Troisième règle : maintenir un jeu de régression composé de demandes réelles. Il faut l’enrichir après chaque nouvelle catégorie d’erreur et l’exécuter à chaque modification du prompt, des outils, de la recherche ou de l’ordre des sources. La pertinence d’une action technique et la qualité de la réponse destinée à l’utilisateur doivent être évaluées séparément.

La conclusion pratique est simple : le déploiement d’un agent ne s’achève ni avec sa mise en production ni avec un taux élevé de résolutions automatiques. Il faut mesurer la médiane et le 90e percentile du délai avant une réponse utile, analyser les escalades, expliciter les statuts des outils et effectuer en permanence des tests de régression. Sinon, l’équipe risque de ne pas corriger l’erreur, mais simplement d’apprendre au système à la commettre plus vite.

Dossier

Questions clés sur cet article

Que sait-on sur Un ticket clôturé ne signifie pas encore que le problème est résolu ?

Dans le CRM, une demande pouvait rester ouverte pendant deux jours après que l’utilisateur avait reçu, en 12 minutes, une procédure opérationnelle. La situation inverse se produisait également : le statut de la fiche changeait alors qu’aucune réponse substantielle n’avait encore été fournie. L’équipe a donc défini comme point de résolution la dernière réponse utile de l’agent ou de l’ingénieur avant la traîne technique.

Que sait-on sur Plus rapide signifie parfois moins bon ?

Après une nouvelle mise à jour, l’équipe a rejoué dix anciens tickets sans envoyer les réponses aux clients. Dans cinq cas, la nouvelle version a mieux répondu ; dans deux, elle a fourni une réponse à peu près équivalente ; dans un cas, le résultat était mitigé ; et dans deux cas, il s’est dégradé. Les deux réponses moins bonnes ont été produites plus rapidement que les précédentes. Dans l’un des exemples, l’agent avait cessé de corriger des fautes de frappe évidentes dans les codes d’objets.

Que sait-on sur Ce qu’il faut vérifier en production ?

Première règle : séparer le résultat de l’outil de son statut. Une réponse vide peut signifier qu’aucun enregistrement n’existe, mais aussi indiquer un délai d’attente dépassé, l’indisponibilité d’un service, des droits insuffisants ou des données incomplètes. L’agent ne doit pas transformer l’échec d’une vérification en diagnostic assuré. Deuxième règle : ne pas autoriser le modèle à présenter un détail technique plausible comme un fait établi.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
Qu'en pensez-vous ?
Chargement des commentaires…