ProjDevBench: ¿podrá la IA crear software completo desde cero?

# ProjDevBench: ¿Podrá la IA crear software completo desde cero?

Cuando hablamos de inteligencia artificial en el desarrollo de software, generalmente recordamos ejemplos como ChatGPT corrigiendo un bug en una función en minutos, o Claude generando código elegante para un algoritmo simple. Pero ¿qué sucedería si pidiéramos a un agente de IA diseñar y construir una aplicación completa desde cero—con toda la arquitectura, gestión de dependencias e integración de componentes? Investigadores de laboratorios líderes han trabajado discretamente en esta cuestión y crearon ProjDevBench, una plataforma que revela las verdaderas capacidades y limitaciones de los modelos actuales de IA actuando como ingenieros de software completos. Los resultados obligan a reconsiderar los pronósticos optimistas sobre el reemplazo inminente de desarrolladores por la automatización.

ProjDevBench difiere fundamentalmente de todas las pruebas anteriores de codificación inteligente. Mientras que investigaciones anteriores verificaban si un modelo podía escribir una única función o resolver un problema de LeetCode, el nuevo benchmark presenta a la IA una tarea real: crear un producto terminado desde cero. La plataforma exige que los agentes no solo generen código sino que tomen decisiones arquitectónicas, dividan el proyecto en módulos, gestionen dependencias, escriban pruebas e integren todo en un producto funcional. Estas no son funciones aisladas—esta es una simulación del desarrollo real, donde cada decisión afecta la siguiente, y los errores se acumulan, complicando todo el sistema.

La estructura del ProjDevBench en sí refleja desafíos reales en la ingeniería de software. A los agentes se les dan especificaciones de proyectos de complejidad variable: desde utilidades simples hasta aplicaciones con múltiples capas de lógica, bases de datos y APIs externas. Los modelos deben entender los requisitos, planificar la estructura del código, seleccionar tecnologías y bibliotecas apropiadas, gestionar conflictos entre componentes y garantizar la funcionalidad. Es bastante similar a lo que hace un desarrollador junior en su primera tarea seria, excepto sin la posibilidad de pedir consejo a colegas senior o sin que se revisen sus pull requests.

Los resultados de las pruebas abrieron los ojos incluso entre los optimistas. Los agentes LLM modernos, impulsados por modelos líderes como GPT-4 y Claude, efectivamente demuestran progreso en comparación con generaciones anteriores. Pueden dividir competentemente un proyecto en módulos, seleccionar una arquitectura sólida y escribir código funcional. Pero los problemas surgen inmediatamente. Los agentes olvidan las dependencias entre componentes y generan código que funciona en aislamiento pero se rompe durante la integración. Gestionan mal el estado del sistema y a menudo no pueden rastrear cómo los cambios en un módulo afectan a otros. La escalabilidad del código disminuye conforme aumenta la complejidad—los agentes comienzan a duplicar lógica en lugar de refactorizar, convirtiendo un proyecto simple en un lío enredado.

Además, los desarrolladores de IA se desempeñan mal en la depuración a nivel de proyecto. Cuando algo sale mal, los modelos a menudo pierden el rastro de las relaciones causales y comienzan a cambiar partes aleatorias del código en lugar de analizar lógicamente el problema. Las pruebas, que deberían ser una parte integral del desarrollo, a menudo se convierten en una formalidad—los agentes escriben pruebas que pasan porque esencialmente prueban lo mismo que el código real.

Estos resultados no significan que la IA sea inútil para el desarrollo. Revelan una brecha real entre la generación de código y la ingeniería de software. La primera es aritmética; la segunda es un arte. ProjDevBench subraya que el camino hacia desarrolladores totalmente autónomos de IA aún es largo. El futuro probablemente pertenece a herramientas híbridas: asistentes de IA que generan código y proponen soluciones, pero bajo el control de un ingeniero experimentado listo para pensar estratégicamente y ver el panorama completo.