Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

METR estime les gains de temps à 4–18 %, mais juge la mesure peu fiable

Lorsqu’on équipe une équipe d’agents IA, il est facile de confondre écriture rapide du code et livraison rapide d’une fonctionnalité. METR a renouvelé son expérience auprès de développeurs et obtenu des estimations de réduction du temps de 4–18 %, tout en les jugeant peu fiables. Certains refusaient de travailler sans IA, tandis que des participants gardaient de côté les tâches qu’ils ne souhaitaient pas effectuer manuellement. Il est donc trop tôt pour intégrer ces pourcentages au calendrier des livraisons : commencez par comptabiliser les revues de code, les corrections et les dépenses de votre propre équipe.

Traité par IA depuis Habr AI ; édité par Hamidun News
METR estime les gains de temps à 4–18 %, mais juge la mesure peu fiable
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Les refus de travailler sans IA modifient la composition du groupe participant à l’expérience.
Chiffre clé #2Le travail des agents en parallèle complique la mesure précise du temps humain.
Chiffre clé #3Calculez le coût d’une modification acceptée, vérifications et retouches comprises.

L’agent a écrit en une minute du code qui demandait auparavant une demi-journée. Excellent — à condition que l’équipe ne passe pas ensuite une journée à le vérifier et à le corriger. C’est précisément cet écart entre vitesse de génération et vitesse d’achèvement du travail que METR a tenté de mesurer. La nouvelle expérience a donné des estimations de réduction du temps de 4–18 %, mais les chercheurs ont jugé le résultat peu fiable. Les développeurs refusaient de plus en plus souvent de participer lorsque cela impliquait de travailler sans IA.

Pour un responsable technique, le problème est concret : quelles économies prévoir dans les délais et le budget ? Prenons une migration d’API. L’agent met à jour des dizaines d’appels, puis un humain vérifie la compatibilité, corrige les tests et attend la revue de code. C’est l’ensemble de ce travail qu’il faut comptabiliser. Or, la comparaison avec une réalisation manuelle devient plus difficile lorsque les participants excluent à l’avance les tâches particulièrement pénibles à effectuer seuls.

Pourquoi la comparaison a été biaisée

La nouvelle étude réunissait 57 développeurs. Le protocole leur demandait de décrire leurs tâches à l’avance, puis un tirage au sort déterminait si l’utilisation de l’IA était autorisée. Mais 30–50 % des participants interrogés ont déclaré avoir gardé certaines tâches de côté : ils ne voulaient pas risquer de se voir interdire l’aide du modèle. Parallèlement, il devenait plus difficile de recruter des personnes prêtes à travailler sans cette aide.

Cela crée un biais avant même la mesure. Imaginons qu’un développeur soumette volontiers au tirage au sort un petit bug dans un module familier, mais réserve à l’agent, hors expérience, la mise à jour massive de fichiers similaires. Les chercheurs mesureront correctement le premier travail, mais n’apprendront presque rien sur le second. Le bénéfice attendu de l’IA influence ainsi les tâches qui passent effectivement au chronomètre.

Chez les participants revenant pour cette nouvelle expérience, la réduction estimée du temps était de 18 %, contre 4 % chez les nouveaux. Les intervalles de confiance restent toutefois compatibles avec un ralentissement. Les auteurs estiment que la sélection pourrait conduire à sous-évaluer les bénéfices, mais ces données ne permettent pas d’établir précisément l’ampleur de l’effet. Les détails figurent dans le rapport de METR du 24 février 2026. Il faut lire le compte rendu de novembre en gardant cette date à l’esprit : il présente les résultats d’une expérience antérieure.

Refuser de travailler à la main ne prouve pas encore un gain de vitesse

Dans le texte d’origine, la réticence à se passer d’IA est présentée presque comme un vote en faveur de son efficacité. La réaction se comprend, mais elle ne suffit pas à calculer la productivité. Une personne peut apprécier un outil parce qu’il réduit la fatigue, permet de s’attaquer à des tâches pénibles ou facilite la recherche dans le code. Tout cela est utile, mais ne montre pas, en soi, de combien la livraison sera avancée.

Les préférences ont une valeur propre du point de vue du produit. Si un assistant allège les tâches répétitives et rend la journée de travail plus supportable, c’est un argument raisonnable en faveur de son achat. Le responsable doit simplement distinguer les discussions sur le confort d’utilisation, la qualité et les délais. Sinon, la promesse d’économies se transforme insensiblement en obligation de traiter davantage de tickets, alors que l’équipe cherchait à moins se fatiguer.

On ne peut pas non plus appliquer les résultats de la première étude de METR à toutes les équipes actuelles. À l’époque, 16 participants expérimentés avaient réalisé 246 tâches dans des projets qu’ils connaissaient, et l’utilisation de l’IA avait augmenté le temps nécessaire de 19 %. C’est une mise en garde importante sur l’écart entre ressenti et mesure, mais les outils, les tâches et l’expérience des participants limitent la portée du résultat. Cela ne signifie pas que chaque agent ralentit aujourd’hui chaque développeur.

Les agents travaillant en parallèle posent un autre problème de comptabilisation. Pendant que l’un modifie le code, l’humain traite un autre ticket et un second agent lance les tests. Quarante minutes se sont écoulées : quelle part attribuer à la première tâche ? Sans règle définie à l’avance, les équipes risquent de produire des rapports flatteurs, mais impossibles à comparer. Le temps de travail humain actif et le délai écoulé jusqu’à l’achèvement répondent à des questions différentes.

Que mesurer au sein de l’équipe

On peut commencer par un petit ensemble de travaux récurrents : corrections de bugs, ajout de tests, migrations de dépendances. Pour chacun, il faut définir à l’avance ce qui constitue un travail terminé : code accepté, vérifications réussies, remarques de la revue de code résolues. Ensuite, il faut comptabiliser le temps humain, l’attente, le coût des outils et les corrections ultérieures. Cette démarche est une recommandation pratique pour les équipes, pas un résultat démontré par l’expérience de METR.

Il est également utile d’examiner où se situent les gains. Un agent peut réduire le temps consacré à l’écriture des tests tout en alourdissant la revue de code ; accélérer une tâche peu familière, mais gêner l’auteur d’un module sur son propre code. En ramenant tout à une seule moyenne, le responsable perd précisément les informations nécessaires pour choisir les outils et répartir le travail.

Pour un responsable produit, la question finale est très concrète : combien coûte une modification acceptée et dans quel délai apporte-t-elle de la valeur à l’utilisateur ? La consommation de tokens décrit l’utilisation de l’outil. Pour justifier le budget, il faut la relier au résultat. Tant que ce lien n’est pas établi, les pourcentages d’une étude externe doivent servir à inciter à mener ses propres mesures, et non à formuler une promesse au conseil d’administration.

Dossier

Questions clés sur cet article

Pourquoi la comparaison a été biaisée?

La nouvelle étude réunissait 57 développeurs. Le protocole leur demandait de décrire leurs tâches à l’avance, puis un tirage au sort déterminait si l’utilisation de l’IA était autorisée. Mais 30–50 % des participants interrogés ont déclaré avoir gardé certaines tâches de côté : ils ne voulaient pas risquer de se voir interdire l’aide du modèle. Parallèlement, il devenait plus difficile de recruter des personnes prêtes à travailler sans cette aide. Cela crée un biais avant même la mesure.

Que sait-on sur Refuser de travailler à la main ne prouve pas encore un gain de vitesse ?

Dans le texte d’origine, la réticence à se passer d’IA est présentée presque comme un vote en faveur de son efficacité. La réaction se comprend, mais elle ne suffit pas à calculer la productivité. Une personne peut apprécier un outil parce qu’il réduit la fatigue, permet de s’attaquer à des tâches pénibles ou facilite la recherche dans le code. Tout cela est utile, mais ne montre pas, en soi, de combien la livraison sera avancée. Les préférences ont une valeur propre du point de vue du produit.

Que sait-on sur Que mesurer au sein de l’équipe ?

On peut commencer par un petit ensemble de travaux récurrents : corrections de bugs, ajout de tests, migrations de dépendances. Pour chacun, il faut définir à l’avance ce qui constitue un travail terminé : code accepté, vérifications réussies, remarques de la revue de code résolues. Ensuite, il faut comptabiliser le temps humain, l’attente, le coût des outils et les corrections ultérieures. Cette démarche est une recommandation pratique pour les équipes, pas un résultat démontré par l’expérience de METR.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…