Habr AI : METR et Google Cloud ne voient pas l'accélération promise des développeurs avec l'IA

Sur Habr AI, une analyse de plusieurs études sur l'impact des outils d'IA sur le travail des développeurs a été publiée. La conclusion inconfortable pour le marché : les développeurs ressentent souvent qu'ils travaillent plus vite, mais les métriques mesurables ne confirment pas encore l'accélération promise.

Où la Croissance N'est Pas Visible

L'un des arguments clés de l'article est lié à une analyse de l'écosystème Python. L'auteur cite l'analyse d'Answer.AI, où ils ont étudié la dynamique de PyPI à la recherche de traces de productivité "explosive".

Si l'IA accélérait vraiment radicalement le développement, cela devrait se refléter dans le nombre de nouveaux paquets, la fréquence des versions et le volume général du code publié. Mais le tableau s'est avéré bien plus modeste : pas de pic notable en nouveaux paquets, et la croissance de la fréquence de mise à jour a commencé en 2019 et est probablement davantage liée aux pratiques CI/CD qu'aux modèles génératifs. Un détail intéressant est que la croissance de l'activité est plus visible dans les projets d'IA.

Ces paquets sont mis à jour plus fréquemment, mais l'auteur interprète cela non comme un effet universel des outils, mais comme une conséquence du battage médiatique et de l'afflux d'investissements dans le segment. Une logique similaire s'applique aux données GitHub : selon l'examen, il n'y a pas non plus de surge massif de nouveaux dépôts, bien que cela aurait pu être un simple indicateur que lancer des projets secondaires est devenu considérablement plus facile. Le verdict est sévère : l'IA aide à créer des prototypes impressionnants, mais n'élimine pas les vrais goulots d'étranglement du développement et du lancement de produits.

Ce que Montrent les Études

L'écart le plus frappant est visible entre les perceptions des équipes et les métriques opérationnelles. L'article cite le rapport de Google Cloud sur l'impact de l'IA générative sur le développement de logiciels : 75% des développeurs affirment que l'IA leur donne un sentiment de plus grande productivité. Mais avec un taux d'adoption de 25% de ces outils, le débit de livraison diminue de 1,5%, et la stabilité de livraison diminue de 7,2%. En d'autres termes, travailler avec l'IA est subjectivement plus agréable, mais ne signifie pas nécessairement plus de résultats utiles en sortie.

• 75% des développeurs ressentent une productivité améliorée
• le débit de livraison diminue de 1,5%
• la stabilité de livraison chute de 7,2%
• la montée d'activité est plus notable dans le segment de l'IA

Encore plus sévère est la recherche de METR citée par l'auteur. Dedans, des développeurs expérimentés s'attendaient à ce que des outils d'IA comme Cursor et Claude accélèrent leur travail d'environ 20%. En réalité, c'est le contraire qui s'est produit : l'exécution des tâches a ralenti d'environ 20%. L'explication semble plausible : les ingénieurs écrivent moins de code à la main, mais passent plus de temps à vérifier, à faire des corrections, à attendre les réponses du modèle et à relancer les tests. En d'autres termes, une partie de la routine mécanique disparaît, mais une nouvelle couche de contrôle qualité prend sa place.

"Aujourd'hui, nous avons des preuves que l'IA rend beaucoup d'entre

nous moins, et non plus productifs."

Cet écart entre attente et réalité importe non seulement pour les ingénieurs, mais aussi pour les entreprises. L'article cite également l'exemple de Notion : après l'ajout de fonctionnalités d'IA, la marge du produit, selon le PDG de l'entreprise, a chuté de 90% à 80%. La logique est claire : le marché pousse à intégrer l'IA dans presque tout, mais les coûts supplémentaires pour l'inference et l'infrastructure ne garantissent ni une croissance de l'audience ni une croissance des revenus. Pour les entreprises, cela signifie que l'implémentation de l'IA dans le développement et le produit ne peut pas être évaluée par le facteur « wow » — des métriques de vitesse, de stabilité et d'économie sont nécessaires.

Ce Que Cela Signifie

L'analyse de Habr AI refroidit efficacement les attentes autour des accélérations "10 fois" en programmation. Au stade actuel, le codage par IA tend plutôt à améliorer l'expérience de travail et à accélérer certaines parties du processus, plutôt que de garantir une augmentation de la productivité de l'équipe ou de l'entreprise. Pour les responsables, la conclusion est simple : avant de déployer massivement ces outils, mesurez non pas le sentiment des développeurs, mais le cycle time, la qualité de livraison et le coût final des changements.