ProjDevBench: a IA consegue criar um software completo do zero?

# ProjDevBench: a IA consegue criar um software completo do zero?

Quando falamos de inteligência artificial no desenvolvimento de software, costumamos lembrar de exemplos como o ChatGPT corrigindo um bug em uma função em um minuto, ou o Claude gerando um código bonito para um algoritmo simples. Mas o que acontece se pedirmos a um agente de IA que projete e monte do zero um aplicativo completo, com toda a arquitetura, o gerenciamento de dependências e a integração de componentes? Pesquisadores de laboratórios de ponta trabalharam discretamente nessa questão e criaram o ProjDevBench, uma plataforma que revela as capacidades e os limites reais dos modelos de IA atuais no papel de engenheiros de software completos.

Os resultados obrigam a rever as previsões otimistas de que a automação vai substituir os desenvolvedores em breve.

O ProjDevBench é radicalmente diferente de todos os testes anteriores de programação com IA. Antes, os pesquisadores verificavam se um modelo conseguia escrever uma função isolada ou resolver um problema do LeetCode. O novo benchmark coloca para a IA uma tarefa real: criar um produto pronto do zero. A plataforma exige que os agentes não apenas gerem código, mas tomem decisões de arquitetura, dividam o projeto em módulos, gerenciem dependências, escrevam testes e juntem tudo em um produto funcional. Não são funções isoladas: é uma simulação do desenvolvimento real, em que cada decisão afeta a seguinte e os erros se acumulam, complicando todo o sistema.

A própria estrutura do ProjDevBench reflete os desafios reais da engenharia de software. Os agentes recebem especificações de projetos de complexidade variada, de utilitários simples a aplicativos com várias camadas de lógica, bancos de dados e APIs externas. Os modelos precisam entender os requisitos, planejar a estrutura do código, escolher tecnologias e bibliotecas adequadas, resolver conflitos entre componentes e garantir que tudo funcione. É bem parecido com o que um desenvolvedor júnior faz na primeira tarefa séria, só que sem poder pedir conselho a um sênior e sem revisão de pull request.

Os resultados surpreenderam até os otimistas. Os agentes baseados em LLMs atuais, movidos por modelos de ponta como GPT-4 e Claude, de fato mostram progresso em relação à geração anterior. Eles conseguem dividir um projeto em módulos com critério, escolher uma arquitetura razoável e escrever código funcional. Mas os problemas aparecem logo. Os agentes esquecem as dependências entre componentes e geram código que funciona isoladamente, mas quebra na integração. Gerenciam mal o estado do sistema e muitas vezes não conseguem rastrear como uma mudança em um módulo afeta os outros. A escalabilidade do código cai conforme a complexidade aumenta: os agentes passam a duplicar lógica em vez de refatorar, transformando um projeto simples em um emaranhado.

Além disso, os desenvolvedores de IA lidam mal com a depuração em nível de projeto. Quando algo dá errado, os modelos frequentemente perdem o fio das relações de causa e efeito e começam a alterar trechos aleatórios do código em vez de analisar o problema de forma lógica. Os testes, que deveriam ser parte indissociável do desenvolvimento, muitas vezes viram formalidade: os agentes escrevem testes que passam porque, na prática, verificam o mesmo que o código real faz.

Esses resultados não significam que a IA seja inútil para o desenvolvimento. Eles mostram uma lacuna real entre gerar código e fazer engenharia de software. A primeira é a tabuada; a segunda, uma arte. O ProjDevBench ressalta que ainda falta muito para um desenvolvedor de IA totalmente autônomo. O futuro provavelmente pertence a ferramentas híbridas: assistentes de IA que geram código e sugerem soluções, mas sob o controle de um engenheiro experiente, capaz de pensar estrategicamente e enxergar o quadro completo.