ProjDevBench : l'IA peut-elle créer un logiciel complet à partir de zéro ?

# ProjDevBench : l'IA peut-elle créer un logiciel complet à partir de zéro ?

Quand on parle d'intelligence artificielle dans le développement logiciel, on pense généralement à des exemples comme ChatGPT corrigeant un bug dans une fonction en une minute, ou Claude générant un joli code pour un algorithme simple. Mais que se passe-t-il si l'on demande à un agent d'IA de concevoir et de construire de A à Z une application complète, avec toute son architecture, la gestion des dépendances et l'intégration des composants ? Des chercheurs de laboratoires de premier plan ont discrètement travaillé sur cette question et créé ProjDevBench, une plateforme qui révèle les capacités et les limites réelles des modèles d'IA actuels dans le rôle d'ingénieurs logiciels à part entière.

Les résultats obligent à revoir les prévisions optimistes sur un remplacement prochain des développeurs par l'automatisation.

ProjDevBench se distingue radicalement de tous les tests de codage par IA précédents. Auparavant, les chercheurs vérifiaient si un modèle savait écrire une fonction isolée ou résoudre un problème LeetCode. Le nouveau benchmark confie à l'IA une tâche réelle : créer un produit fini à partir de zéro. La plateforme exige des agents non seulement de générer du code, mais de prendre des décisions d'architecture, de découper le projet en modules, de gérer les dépendances, d'écrire des tests et de tout assembler en un produit qui fonctionne. Ce ne sont pas des fonctions isolées : c'est une simulation du développement réel, où chaque décision influe sur la suivante et où les erreurs s'accumulent, compliquant l'ensemble du système.

La structure même de ProjDevBench reflète les défis réels de l'ingénierie logicielle. Les agents reçoivent des spécifications de projets de complexité variable, des simples utilitaires aux applications comportant plusieurs couches de logique, des bases de données et des API externes. Les modèles doivent comprendre les exigences, planifier la structure du code, choisir les technologies et bibliothèques adaptées, résoudre les conflits entre composants et garantir le bon fonctionnement. Cela ressemble assez à ce que fait un développeur junior lors de sa première mission sérieuse, sauf qu'il ne peut pas demander conseil à un senior et qu'il n'y a pas de relecture de pull request.

Les résultats ont surpris même les optimistes. Les agents LLM actuels, propulsés par les meilleurs modèles comme GPT-4 et Claude, progressent bel et bien par rapport à la génération précédente. Ils savent découper intelligemment un projet en modules, choisir une architecture raisonnable et écrire du code fonctionnel.

Mais les problèmes apparaissent aussitôt. Les agents oublient les dépendances entre composants et génèrent du code qui fonctionne isolément, mais casse à l'intégration. Ils gèrent mal l'état du système et ne parviennent souvent pas à suivre l'effet d'une modification dans un module sur les autres.

La capacité du code à passer à l'échelle s'effondre quand la complexité augmente : les agents se mettent à dupliquer la logique au lieu de refactoriser, et un projet simple devient un écheveau inextricable.

Par ailleurs, les développeurs IA se débrouillent mal avec le débogage à l'échelle du projet. Quand quelque chose tourne mal, les modèles perdent souvent le fil des relations de cause à effet et modifient des parties aléatoires du code au lieu d'analyser le problème de façon logique. Les tests, qui devraient faire partie intégrante du développement, deviennent souvent une formalité : les agents écrivent des tests qui passent parce qu'ils vérifient, en substance, la même chose que le code réel.

Ces résultats ne signifient pas que l'IA est inutile pour le développement. Ils montrent un écart réel entre la génération de code et l'ingénierie logicielle. La première, c'est la table de multiplication ; la seconde, un art. ProjDevBench souligne qu'il reste encore un long chemin avant un développeur IA pleinement autonome. L'avenir appartient probablement à des outils hybrides : des assistants d'IA qui génèrent du code et proposent des solutions, mais sous le contrôle d'un ingénieur expérimenté, capable de penser de façon stratégique et de voir l'ensemble du tableau.