ProjDevBench: ¿puede la IA crear software completo desde cero?

# ProjDevBench: ¿puede la IA crear software completo desde cero?

Cuando hablamos de inteligencia artificial en el desarrollo de software, solemos pensar en ejemplos como ChatGPT corrigiendo un error en una función en un minuto, o Claude generando código pulcro para un algoritmo sencillo. Pero ¿qué ocurre si se le pide a un agente de IA que diseñe y construya desde cero una aplicación completa, con toda su arquitectura, la gestión de dependencias y la integración de componentes? Investigadores de laboratorios punteros han trabajado discretamente en esta cuestión y han creado ProjDevBench, una plataforma que revela las capacidades y los límites reales de los modelos de IA actuales en el papel de ingenieros de software completos.

Los resultados obligan a revisar los pronósticos optimistas sobre un desplazamiento inminente de los desarrolladores por la automatización.

ProjDevBench se distingue radicalmente de todas las pruebas anteriores de programación con IA. Antes, los investigadores comprobaban si un modelo podía escribir una función aislada o resolver un problema de LeetCode. El nuevo benchmark plantea a la IA una tarea real: crear un producto terminado desde cero. La plataforma exige a los agentes no solo generar código, sino tomar decisiones de arquitectura, dividir el proyecto en módulos, gestionar dependencias, escribir pruebas y unirlo todo en un producto que funcione. No son funciones sueltas: es una simulación del desarrollo real, donde cada decisión afecta a la siguiente y los errores se acumulan y complican todo el sistema.

La propia estructura de ProjDevBench refleja los desafíos reales de la ingeniería de software. Los agentes reciben especificaciones de proyectos de distinta complejidad, desde utilidades sencillas hasta aplicaciones con varias capas de lógica, bases de datos y API externas. Los modelos deben entender los requisitos, planificar la estructura del código, elegir tecnologías y bibliotecas adecuadas, resolver conflictos entre componentes y garantizar que todo funcione. Se parece bastante a lo que hace un desarrollador junior en su primera tarea seria, solo que sin poder pedir consejo a un senior y sin revisión de pull requests.

Los resultados sorprendieron incluso a los optimistas. Los agentes LLM actuales, impulsados por los mejores modelos, como GPT-4 y Claude, sí muestran progreso respecto a la generación anterior. Pueden dividir un proyecto en módulos con criterio, elegir una arquitectura razonable y escribir código funcional. Pero los problemas aparecen enseguida. Los agentes olvidan las dependencias entre componentes y generan código que funciona de forma aislada, pero se rompe al integrarse. Gestionan mal el estado del sistema y a menudo no logran rastrear cómo afecta un cambio en un módulo a los demás. La escalabilidad del código cae al aumentar la complejidad: los agentes empiezan a duplicar lógica en lugar de refactorizar, y un proyecto simple se convierte en una maraña.

Además, los desarrolladores de IA lidian mal con la depuración a nivel de proyecto. Cuando algo sale mal, los modelos suelen perder el hilo de las relaciones de causa y efecto y empiezan a modificar partes aleatorias del código en lugar de analizar el problema de forma lógica. Las pruebas, que deberían ser parte integral del desarrollo, a menudo se vuelven una formalidad: los agentes escriben tests que pasan porque, en esencia, comprueban lo mismo que hace el código real.

Estos resultados no significan que la IA sea inútil para el desarrollo. Muestran una brecha real entre generar código y hacer ingeniería de software. Lo primero es la tabla de multiplicar; lo segundo, un arte. ProjDevBench subraya que aún queda mucho camino hasta un desarrollador de IA totalmente autónomo. Lo más probable es que el futuro pertenezca a herramientas híbridas: asistentes de IA que generan código y proponen soluciones, pero bajo la supervisión de un ingeniero experimentado capaz de pensar de forma estratégica y ver el panorama completo.