L'IA accélère le code, mais la productivité n'augmente pas : ce qu'expliquent les métriques DevEx

L'attente était simple : avec des assistants IA, un développeur produirait trois à quatre fois plus de code de qualité. En pratique, presque aucune équipe ne constate de gain de productivité multiplicatif. L'une des études les plus citées, l'expérience randomisée METR de 2025, a montré que des développeurs open source expérimentés résolvaient leurs tâches 19% plus lentement avec des outils d'IA, alors qu'ils estimaient eux-mêmes gagner environ 20%. Habr a publié la traduction d'une analyse dont l'auteur propose d'ajouter les métriques DevEx à DORA et SPACE, afin de voir ce que les statistiques habituelles laissent passer. Nous nous appuyons sur l'annonce de l'article et sur les descriptions bien connues de ces frameworks.

Pourquoi le code va plus vite, sans changer le résultat

Écrire du code ne représente qu'une partie de la journée d'un développeur. Le reste se partage entre discussions avec les collègues, recherche de documentation, attente des revues et des validations, builds et tests, et changements de contexte d'une tâche à l'autre. L'IA accélère l'étape la plus visible, et le goulot d'étranglement se déplace tout simplement. C'est la logique de la loi d'Amdahl : si l'on n'accélère qu'une seule étape d'un processus, le gain global est plafonné par la part de cette étape.

Il existe aussi un effet inverse. Plus de code généré, c'est plus de diffs à relire, plus de vérifications et un risque accru qu'une erreur passe entre les mailles. La production par personne augmente, mais le débit de l'équipe reste le même. C'est pourquoi des métriques comme le nombre de lignes, de commits ou la part de suggestions acceptées ne disent presque rien de la vitesse réelle de livraison.

Trois cadres de mesure

Chaque framework regarde une partie différente du système :

• DORA : quatre indicateurs de livraison : fréquence des déploiements, délai entre le commit et la production, taux d'échec des changements et temps de rétablissement après un incident. Cette métrique montre le résultat du pipeline.
• SPACE : cinq dimensions : satisfaction, performance, activité, communication et collaboration, efficacité et flow. Ce cadre rappelle qu'un seul chiffre ne peut pas décrire la productivité.
• DevEx : trois facteurs de l'expérience développeur : rapidité du feedback, charge cognitive et possibilité d'entrer dans un état de flow. Cette métrique montre ce qui empêche de travailler.

C'est justement DevEx qui répond à la question : où passent les minutes économisées ? Une CI lente, une architecture opaque, une documentation éparpillée et une file de validations absorbent le gain de l'autocomplétion, et DORA ne l'enregistre qu'indirectement, via le délai final de livraison.

Comment l'IA modifie la mesure elle-même

Les outils d'IA introduisent de nouvelles variables dans DevEx. Ils réduisent la charge cognitive sur les tâches routinières, mais en ajoutent une autre : relire du code écrit par autrui, fût-ce par une machine. Ils accélèrent la recherche de réponses, mais peuvent aussi mener vers des erreurs plausibles. L'écart observé dans les données METR entre le ralentissement réel et le sentiment d'accélération montre que les sondages seuls ne suffisent pas. Il faut à la fois des évaluations subjectives et de la télémétrie du processus.

Que mesurer en pratique

Il faut commencer avant le déploiement massif des assistants : sans point de référence, impossible de distinguer l'effet des variations saisonnières et des changements de composition de l'équipe. Il est ensuite raisonnable de croiser trois couches de données.

• Temps d'attente : file de revue, durée de la CI, retards de validation.
• Qualité : taux d'échec des changements et temps de rétablissement de DORA, en contrepoids de la vitesse.
• Expérience des développeurs : courts sondages réguliers sur le flow, la charge et la qualité du feedback.

Vérifiez séparément que la charge des relecteurs n'a pas augmenté. Si l'IA a accéléré les auteurs pendant que les ingénieurs seniors croulent sous les diffs, l'équipe gagne en activité et perd en livraison. Et ne transformez pas le nombre de suggestions acceptées ou le volume de code généré en KPI : ces chiffres se manipulent facilement et n'ont aucun lien avec le résultat business.