Un testeur de sept ans d'expérience met à l'épreuve la thèse d'une crise de la qualité logicielle

Écran noir après une mise à jour de Windows, retour en arrière, soulagement. C'est ainsi que commence l'article d'un ingénieur QA de Cloud.ru, qui teste des logiciels depuis sept ans. Sa conclusion est prudente : une panne douloureuse, même vécue personnellement, ne dit rien de l'état de toute l'industrie. Le titre, lui, pose la question de front : « Crise mondiale de la qualité logicielle : est-ce vraiment si grave ? » Le résumé publié ne donne pas de réponse ; le texte complet se trouve sur Habr. Nous ne résumerons pas ce que nous n'avons pas lu, et confronterons la question aux données déjà accessibles publiquement.

Ce que disent les chiffres

La thèse « les logiciels se dégradent » dispose d'arguments solides. En juillet 2024, une mise à jour défectueuse de CrowdStrike a mis hors service environ 8,5 millions d'appareils sous Windows, selon Microsoft. Compagnies aériennes, banques et hôpitaux ont subi la même erreur en même temps. En 2012, Knight Capital a perdu environ 440 millions de dollars en quelque 45 minutes à cause d'un code mal déployé. Quant au consortium CISQ, il a chiffré les pertes cumulées des États-Unis dues à la mauvaise qualité logicielle à 2,41 billions de dollars pour 2022. Cette estimation relève d'un modèle, pas d'un rapport comptable, mais l'ordre de grandeur est parlant.

Les sceptiques ont leurs propres contre-arguments. Nous voyons plus de pannes parce qu'il existe incomparablement plus de logiciels, et que le moindre incident se retrouve instantanément sur les réseaux sociaux. Il est difficile de constituer des statistiques « avant et après » : il n'existe pas de métrique unique de la qualité logicielle.

Pourquoi l'expérience personnelle trompe

La position du testeur est ici méthodologiquement juste. Une panne après une mise à jour reste en mémoire, tandis que des milliers de mises à jour passées sans heurt passent inaperçues. C'est un biais de disponibilité classique : un cas marquant est perçu comme une tendance. Le travail du QA consiste justement à remplacer les impressions par des mesures.

Ce ne sont pas les indicateurs qui manquent :

• la part des releases ayant nécessité un rollback ou un hotfix ;
• le temps de rétablissement après incident (MTTR) ;
• le taux d'échec des changements (change failure rate) ;
• le nombre de défauts critiques arrivés en production ;
• le coût d'une heure d'indisponibilité pour une entreprise donnée.

Sur ces indicateurs, l'industrie diverge plutôt qu'elle n'évolue dans une seule direction. Les équipes dotées d'un CI/CD mature et de tests automatisés livrent plus souvent et de manière plus stable. Les autres gagnent en vitesse au prix de la fiabilité.

Où l'IA s'invite

Un facteur distinct de ces dernières années, que le résumé ne mentionne pas, est la génération de code. Le rapport DORA 2024 a mis en évidence une corrélation peu réjouissante : une hausse de 25% de l'utilisation d'outils d'IA s'est accompagnée d'une baisse d'environ 7,2% de la stabilité des livraisons et d'un recul de 1,5% du débit. Une corrélation ne prouve pas une causalité, mais le signal compte : le code s'écrit plus vite, alors que la vérification n'accélère pas au même rythme. Revues de code et tests deviennent le goulot d'étranglement, et c'est précisément là que le travail du testeur est plus valorisé qu'auparavant.

Comment exploiter cette question en pratique

Ne prenez pas de décisions sur la foi des titres évoquant une « crise ». Si vous êtes responsable d'un produit, calculez vos propres métriques : le change failure rate et le MTTR des deux derniers trimestres vous apprendront plus que n'importe quelle estimation sectorielle. Si vous déployez des assistants IA pour le code, prévoyez une hausse de la charge de revue et de tests automatisés en même temps que l'accélération du développement. Et pour les mises à jour d'infrastructures critiques, conservez un déploiement progressif et un plan de rollback éprouvé. C'est précisément lui qui a rendu son ordinateur de travail à l'auteur de l'article.