Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

45 % des rapports d’IA ont obtenu une note de 3 ou moins : comment Atom a identifié les causes dans les prompts

Chez Atom, 45 % des rapports d’IA sur les réunions de travail recevaient une note de 3 ou moins de la part du juge LLM dans Langfuse. L’équipe a examiné manuellement 56 de ces rapports avec leurs transcriptions. Résultat : le prompt était responsable de 45 % des échecs, et un type de réunion inadapté de 36 % supplémentaires. Des règles strictes contre les hallucinations conduisaient le modèle à écarter de vraies tâches.

Traité par IA depuis Habr AI ; édité par Hamidun News
45 % des rapports d’IA ont obtenu une note de 3 ou moins : comment Atom a identifié les causes dans les prompts
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Les métriques de valeur comptent davantage que les visites : le nombre d’actions à forte valeur par utilisateur est passé de 3,4 à 6,8
Chiffre clé #2Parmi les mauvaises notes, 7 % étaient dues à des erreurs du juge LLM lui-même
Chiffre clé #3Un rapport d’IA coûte moins de 100 roubles

Lorsque l’équipe AI LAB d’Atom a examiné pour la première fois les évaluations automatiques des rapports d’IA sur les réunions de travail, le constat était préoccupant : 45 % obtenaient une note de 3 ou moins. Pour déterminer si cette proportion était réellement élevée, il a d’abord fallu apprendre à mesurer qui utilisait véritablement le service et ce que ces utilisateurs en retiraient.

D’abord, les métriques d’utilisation

L’équipe a commencé par un onglet de l’interface d’administration répertoriant les personnes qui avaient ouvert Transkribator. Cela permettait de mesurer l’intérêt, mais pas de savoir ce que l’utilisateur avait fait ensuite. Elle a alors ajouté le nombre de visiteurs, d’utilisateurs actifs et de nouveaux utilisateurs, ainsi que le nombre de projets et de fichiers transcrits. Elle a ensuite défini les « actions à forte valeur » : téléchargement d’un document, obtention d’une transcription, consultation d’un rapport d’IA pendant plus d’une minute, envoi d’un commentaire et réponse du chat consacré à la réunion. Tout le reste, y compris les visites brèves, est considéré comme une activité technique.

L’équipe a ensuite ajouté les indicateurs DAU, WAU, MAU et la « stickiness » — le ratio DAU/MAU. Le signal principal est venu du nombre moyen d’actions à forte valeur par utilisateur actif : entre avril et août, il est passé de 3,4 à 6,8, alors même que l’audience avait été multipliée. La croissance ne reposait donc pas sur la simple curiosité. La part des visiteurs effectuant au moins une action reste supérieure à 80 %. Une stickiness de 10 à 25 % est normale pour ce type d’outil : les utilisateurs reviennent après leurs réunions, selon un rythme davantage hebdomadaire que quotidien.

L’équipe a également créé des contre-métriques : le nombre d’erreurs de transcription et la proportion d’appels ayant échoué. Sans elles, le tableau de bord ne montre qu’une image flatteuse. Pour la couche des coûts, elle mesure le prix d’une requête, les latences p50 et p95 ainsi que la disponibilité par rapport au SLO. Un rapport coûte moins de 100 roubles, et une heure de réunion est traitée en environ 15 minutes.

Ce qu’a révélé l’analyse des mauvaises notes

La qualité des rapports est évaluée dans Langfuse par un modèle-juge distinct, sur une échelle de cinq points. Les réunions de recherche, dont la structure a été conçue avec des chercheurs UX, obtiennent régulièrement des notes de 4 ou 5. Les résultats sont moins bons pour les autres réunions : parmi 374 rapports sur des réunions de travail produits entre le 3 juillet et le 22 septembre, 168 ont reçu une note de 3 ou moins. L’équipe en a lu manuellement 56 avec leurs transcriptions et a rédigé, pour chacun, une réponse de référence à l’aide d’un modèle plus puissant.

La répartition des causes était la suivante : prompt de synthèse, 45 % ; réunion qui n’était pas réellement une « réunion de travail » — démo ou point de synchronisation sur l’avancement —, 36 % ; mauvaises données d’entrée, 12 % ; erreur du juge lui-même, 7 %. Le principal enseignement de la réunion disparaissait le plus souvent — dans 28 cas sur 56 —, des éléments parasites comme « partager l’écran » se retrouvaient dans la liste des tâches, et les différentes sections se contredisaient.

Un effet intéressant est apparu lorsque les règles ont été durcies pour empêcher le modèle d’inventer des tâches : il s’est mis à écarter des tâches réelles. Des rapports indiquaient « aucune tâche active » alors qu’une échéance avait été fixée. Sans contrepoids, la règle « mieux vaut ne rien écrire que d’inventer » ne fait que déplacer l’erreur dans l’autre sens.

Ce qu’il faut en retenir

Premièrement, convenez à l’avance de ce qui constitue une action utile pour chaque produit. Il n’existe pas de définition universelle de l’utilisateur actif : si une revue de code se lance automatiquement, la personne qui n’a cliqué sur rien est-elle active ?

Deuxièmement, ne vous fiez pas à la note moyenne du juge LLM. Lisez intégralement au moins une cinquantaine des pires cas et classez leurs causes par catégorie. Certaines « mauvaises » notes s’expliqueront par le type de document ou par le juge, et non par le prompt.

Troisièmement, versionnez les prompts et testez chaque modification sur des réponses de référence. Sinon, la correction d’un défaut en créera discrètement un autre.

Dossier

Questions clés sur cet article

Que sait-on sur D’abord, les métriques d’utilisation ?

L’équipe a commencé par un onglet de l’interface d’administration répertoriant les personnes qui avaient ouvert Transkribator. Cela permettait de mesurer l’intérêt, mais pas de savoir ce que l’utilisateur avait fait ensuite. Elle a alors ajouté le nombre de visiteurs, d’utilisateurs actifs et de nouveaux utilisateurs, ainsi que le nombre de projets et de fichiers transcrits.

Que sait-on sur Ce qu’a révélé l’analyse des mauvaises notes ?

La qualité des rapports est évaluée dans Langfuse par un modèle-juge distinct, sur une échelle de cinq points. Les réunions de recherche, dont la structure a été conçue avec des chercheurs UX, obtiennent régulièrement des notes de 4 ou 5. Les résultats sont moins bons pour les autres réunions : parmi 374 rapports sur des réunions de travail produits entre le 3 juillet et le 22 septembre, 168 ont reçu une note de 3 ou moins.

Que sait-on sur Ce qu’il faut en retenir ?

Premièrement, convenez à l’avance de ce qui constitue une action utile pour chaque produit. Il n’existe pas de définition universelle de l’utilisateur actif : si une revue de code se lance automatiquement, la personne qui n’a cliqué sur rien est-elle active ? Deuxièmement, ne vous fiez pas à la note moyenne du juge LLM. Lisez intégralement au moins une cinquantaine des pires cas et classez leurs causes par catégorie.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…