45 % des rapports d’IA ont obtenu une note de 3 ou moins : comment Atom a identifié les causes dans les prompts
Chez Atom, 45 % des rapports d’IA sur les réunions de travail recevaient une note de 3 ou moins de la part du juge LLM dans Langfuse. L’équipe a examiné manuellement 56 de ces rapports avec leurs transcriptions. Résultat : le prompt était responsable de 45 % des échecs, et un type de réunion inadapté de 36 % supplémentaires. Des règles strictes contre les hallucinations conduisaient le modèle à écarter de vraies tâches.
Traité par IA depuis Habr AI ; édité par Hamidun News
Lorsque l’équipe AI LAB d’Atom a examiné pour la première fois les évaluations automatiques des rapports d’IA sur les réunions de travail, le constat était préoccupant : 45 % obtenaient une note de 3 ou moins. Pour déterminer si cette proportion était réellement élevée, il a d’abord fallu apprendre à mesurer qui utilisait véritablement le service et ce que ces utilisateurs en retiraient.
D’abord, les métriques d’utilisation
L’équipe a commencé par un onglet de l’interface d’administration répertoriant les personnes qui avaient ouvert Transkribator. Cela permettait de mesurer l’intérêt, mais pas de savoir ce que l’utilisateur avait fait ensuite. Elle a alors ajouté le nombre de visiteurs, d’utilisateurs actifs et de nouveaux utilisateurs, ainsi que le nombre de projets et de fichiers transcrits. Elle a ensuite défini les « actions à forte valeur » : téléchargement d’un document, obtention d’une transcription, consultation d’un rapport d’IA pendant plus d’une minute, envoi d’un commentaire et réponse du chat consacré à la réunion. Tout le reste, y compris les visites brèves, est considéré comme une activité technique.
L’équipe a ensuite ajouté les indicateurs DAU, WAU, MAU et la « stickiness » — le ratio DAU/MAU. Le signal principal est venu du nombre moyen d’actions à forte valeur par utilisateur actif : entre avril et août, il est passé de 3,4 à 6,8, alors même que l’audience avait été multipliée. La croissance ne reposait donc pas sur la simple curiosité. La part des visiteurs effectuant au moins une action reste supérieure à 80 %. Une stickiness de 10 à 25 % est normale pour ce type d’outil : les utilisateurs reviennent après leurs réunions, selon un rythme davantage hebdomadaire que quotidien.
L’équipe a également créé des contre-métriques : le nombre d’erreurs de transcription et la proportion d’appels ayant échoué. Sans elles, le tableau de bord ne montre qu’une image flatteuse. Pour la couche des coûts, elle mesure le prix d’une requête, les latences p50 et p95 ainsi que la disponibilité par rapport au SLO. Un rapport coûte moins de 100 roubles, et une heure de réunion est traitée en environ 15 minutes.
Ce qu’a révélé l’analyse des mauvaises notes
La qualité des rapports est évaluée dans Langfuse par un modèle-juge distinct, sur une échelle de cinq points. Les réunions de recherche, dont la structure a été conçue avec des chercheurs UX, obtiennent régulièrement des notes de 4 ou 5. Les résultats sont moins bons pour les autres réunions : parmi 374 rapports sur des réunions de travail produits entre le 3 juillet et le 22 septembre, 168 ont reçu une note de 3 ou moins. L’équipe en a lu manuellement 56 avec leurs transcriptions et a rédigé, pour chacun, une réponse de référence à l’aide d’un modèle plus puissant.
La répartition des causes était la suivante : prompt de synthèse, 45 % ; réunion qui n’était pas réellement une « réunion de travail » — démo ou point de synchronisation sur l’avancement —, 36 % ; mauvaises données d’entrée, 12 % ; erreur du juge lui-même, 7 %. Le principal enseignement de la réunion disparaissait le plus souvent — dans 28 cas sur 56 —, des éléments parasites comme « partager l’écran » se retrouvaient dans la liste des tâches, et les différentes sections se contredisaient.
Un effet intéressant est apparu lorsque les règles ont été durcies pour empêcher le modèle d’inventer des tâches : il s’est mis à écarter des tâches réelles. Des rapports indiquaient « aucune tâche active » alors qu’une échéance avait été fixée. Sans contrepoids, la règle « mieux vaut ne rien écrire que d’inventer » ne fait que déplacer l’erreur dans l’autre sens.
Ce qu’il faut en retenir
Premièrement, convenez à l’avance de ce qui constitue une action utile pour chaque produit. Il n’existe pas de définition universelle de l’utilisateur actif : si une revue de code se lance automatiquement, la personne qui n’a cliqué sur rien est-elle active ?
Deuxièmement, ne vous fiez pas à la note moyenne du juge LLM. Lisez intégralement au moins une cinquantaine des pires cas et classez leurs causes par catégorie. Certaines « mauvaises » notes s’expliqueront par le type de document ou par le juge, et non par le prompt.
Troisièmement, versionnez les prompts et testez chaque modification sur des réponses de référence. Sinon, la correction d’un défaut en créera discrètement un autre.
- 30 avr. 2026OpenAI explique l'origine des « gobelins » de GPT-5 : comment un bug de personnalité s'est glissé dans le modèle
- 17 mai 2026Anthropic se lance sur le marché grand public avec Claude
- 19 juil. 2026Midjourney vs Nano Banana Pro vs FLUX 2 Max : le comparatif des IA de génération d'images en 2026
- 9 oct. 2026La capacité mondiale des réseaux de dorsale progresse de 23% et atteint 2259 Tbit/s
Questions clés sur cet article
Que sait-on sur D’abord, les métriques d’utilisation ?
L’équipe a commencé par un onglet de l’interface d’administration répertoriant les personnes qui avaient ouvert Transkribator. Cela permettait de mesurer l’intérêt, mais pas de savoir ce que l’utilisateur avait fait ensuite. Elle a alors ajouté le nombre de visiteurs, d’utilisateurs actifs et de nouveaux utilisateurs, ainsi que le nombre de projets et de fichiers transcrits.
Que sait-on sur Ce qu’a révélé l’analyse des mauvaises notes ?
La qualité des rapports est évaluée dans Langfuse par un modèle-juge distinct, sur une échelle de cinq points. Les réunions de recherche, dont la structure a été conçue avec des chercheurs UX, obtiennent régulièrement des notes de 4 ou 5. Les résultats sont moins bons pour les autres réunions : parmi 374 rapports sur des réunions de travail produits entre le 3 juillet et le 22 septembre, 168 ont reçu une note de 3 ou moins.
Que sait-on sur Ce qu’il faut en retenir ?
Premièrement, convenez à l’avance de ce qui constitue une action utile pour chaque produit. Il n’existe pas de définition universelle de l’utilisateur actif : si une revue de code se lance automatiquement, la personne qui n’a cliqué sur rien est-elle active ? Deuxièmement, ne vous fiez pas à la note moyenne du juge LLM. Lisez intégralement au moins une cinquantaine des pires cas et classez leurs causes par catégorie.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.