ProjDevBench : l'IA pourra-t-elle créer un logiciel complet de zéro ?

# ProjDevBench : L'IA peut-elle créer un logiciel complet à partir de zéro ?

Lorsque nous discutons de l'intelligence artificielle dans le développement logiciel, nous nous souvenons généralement d'exemples comme ChatGPT corrigeant un bug dans une fonction en quelques minutes, ou Claude générant du code élégant pour un algorithme simple. Mais que se passerait-il si nous demandions à un agent d'IA de concevoir et de construire une application complète à partir de zéro—avec l'ensemble de l'architecture, la gestion des dépendances et l'intégration des composants ? Des chercheurs de laboratoires de premier plan ont discrètement travaillé sur cette question et créé ProjDevBench, une plateforme qui révèle les véritables capacités et limitations des modèles d'IA actuels agissant en tant qu'ingénieurs logiciels à part entière.

Les résultats contraignent à reconsidérer les prévisions optimistes concernant le remplacement imminent des développeurs par l'automatisation.

ProjDevBench diffère fondamentalement de tous les tests précédents de codage intelligent. Alors que les recherches antérieures vérifiaient si un modèle pouvait écrire une seule fonction ou résoudre un problème LeetCode, le nouveau benchmark présente à l'IA une tâche réelle : créer un produit fini à partir de zéro. La plateforme exige que les agents ne se contentent pas de générer du code mais prennent des décisions architecturales, divisent le projet en modules, gèrent les dépendances, écrivent des tests et intègrent le tout dans un produit fonctionnel. Ce ne sont pas des fonctions isolées—c'est une simulation du développement réel, où chaque décision affecte la suivante, et les erreurs s'accumulent, compliquant l'ensemble du système.

La structure de ProjDevBench elle-même reflète les défis réels de l'ingénierie logicielle. Les agents reçoivent des spécifications de projets de complexité variable : des utilitaires simples aux applications avec plusieurs couches de logique, des bases de données et des API externes. Les modèles doivent comprendre les exigences, planifier la structure du code, sélectionner les technologies et les bibliothèques appropriées, gérer les conflits entre les composants et assurer la fonctionnalité. C'est assez similaire à ce qu'un développeur junior fait sur sa première tâche sérieuse, sauf sans la possibilité de demander des conseils à des collègues seniors ou sans avoir ses pull requests examinées.

Les résultats des tests ont ouvert les yeux même aux optimistes. Les agents LLM modernes, alimentés par des modèles leaders comme GPT-4 et Claude, montrent effectivement des progrès par rapport aux générations précédentes. Ils peuvent compétent diviser un projet en modules, sélectionner une architecture solide et écrire du code fonctionnel.

Mais les problèmes émergent immédiatement. Les agents oublient les dépendances entre les composants et génèrent du code qui fonctionne en isolation mais qui casse lors de l'intégration. Ils gèrent mal l'état du système et souvent ne peuvent pas suivre comment les changements dans un module affectent les autres.

La scalabilité du code diminue à mesure que la complexité augmente—les agents commencent à dupliquer la logique au lieu de refactoriser, transformant un projet simple en un fouillis enchevêtré.

De plus, les développeurs IA se comportent mal au débogage au niveau du projet. Quand quelque chose ne va pas, les modèles perdent souvent la trace des relations de cause à effet et commencent à modifier des parties aléatoires du code au lieu d'analyser logiquement le problème. Les tests, qui devraient être une partie intégrante du développement, deviennent souvent une formalité—les agents écrivent des tests qui passent parce qu'ils testent essentiellement la même chose que le code réel.

Ces résultats ne signifient pas que l'IA est inutile pour le développement. Ils révèlent une réelle lacune entre la génération de code et l'ingénierie logicielle. Le premier est l'arithmétique ; le second est un art. ProjDevBench souligne que la route vers des développeurs IA entièrement autonomes est encore longue. L'avenir appartient probablement à des outils hybrides : des assistants IA qui génèrent du code et proposent des solutions, mais sous le contrôle d'un ingénieur expérimenté prêt à penser stratégiquement et à voir l'ensemble du tableau.