Agentes de IA lançaram 228 releases de um jogo sem revisão humana; 25% das tarefas foram devolvidas pelos testes
Um desenvolvedor entregou um jogo de navegador a agentes de IA autônomos. Os jogadores enviavam pedidos, o modelo escrevia o código e a revisão, um algoritmo fazia o deploy em produção, e o humano não leu nenhuma linha. Em um mês e meio, saíram 228 releases. Só que o modelo dizia «pronto» mesmo com testes falhando: a verificação final devolveu para ajustes uma de cada quatro tarefas (25%). A conclusão é que a qualidade vem da esteira de verificações ao redor do modelo, e não da escolha do modelo em si.
Processado por IA de Habr AI; editado por Hamidun News
Dá para confiar à IA não apenas sugestões no editor, mas todo o desenvolvimento de um produto, do pedido ao deploy em produção, sem que um humano olhe o código uma única vez? O autor de um experimento em três partes no Habr testou isso na prática e apresentou os resultados. Um jogo de navegador, um simulador tático em estilo cartoon, foi desenvolvido por agentes de IA.
Os jogadores enviavam pedidos, como «adicionem um novo modo» ou «mudem o comportamento de uma unidade». O modelo escrevia o código, outro papel do mesmo modelo fazia a revisão, e um algoritmo fazia o deploy em produção. O humano não leu nenhuma linha do diff.
O resultado foram 228 releases. O texto interessa a quem decide onde investir: em um modelo mais badalado ou nas regras e verificações ao redor dele.
Um esclarecimento importante: o experimento trata de desenvolvimento autônomo, em que o pedido chega, a esteira o leva até a produção e o humano não lê o código. Isso não é trabalho em par com o modelo, em que o engenheiro divide a tarefa em etapas e confere ao longo do caminho. Nesse segundo cenário, os modelos fechados mais fortes de fato mostram vantagem, mas a conclusão para o modo autônomo é outra.
O que o experimento rendeu em números
Ao todo, chegaram cerca de 265 pedidos: 228 foram até a produção, 10 foram barrados na entrada por serem injeções, e cerca de 27 travaram na esteira. Os pedidos vieram de 24 autores. A mediana do caminho do pedido até a produção (sem contar a espera por respostas do jogador) foi de 33 minutos, e a média, de 46. A tarefa mais teimosa levou 13 horas e 7 devoluções para ajustes.
A base de código ganhou 128 mil linhas e perdeu 23 mil. Os testes automatizados somam 2 188, dos quais 299 são testes e2e de aceitação. Trabalharam seis modelos de pesos abertos: quatro pesados (Kimi K2.7 Code, DeepSeek V4 Pro, GLM 5.2, Qwen3-Coder 480B) e dois leves, DeepSeek V4.1 Flash e GLM 5.3 Flash. Pelo OpenRouter passaram 22,7 bilhões de tokens e 363 mil requisições. Desse total, 2,8 bilhões foram do experimento aberto, e os outros 19,9 bilhões do fechado, em que cada modelo refez sozinho todo o histórico a partir do commit inicial.
As seis versões finais passaram nos testes e2e do fim do experimento aberto. Porém, os seletores tiveram de ser ajustados à mão para os nomes de classes CSS de cada modelo: de três a quatro horas por versão, cerca de um dia no total. No experimento fechado, as tarefas demoraram mais: mediana de 48 minutos contra 33, e média de 68 contra 46.
Como funciona a esteira e por que «pronto» não significa nada
A esteira tem nove etapas, e quatro delas ocorrem antes da primeira linha de código. O modelo confronta o pedido com o comportamento existente e faz perguntas de esclarecimento ao autor. Depois, o CI roda sobre a base intocada: a frase «os erros já existiam antes de mim» deixa de ser opinião e vira um fato que a execução dos testes confirma ou refuta.
Em seguida, escreve-se a especificação, com as áreas de mudança e um item sobre «o que não fazemos». Um desenvolvedor escreve os testes e outro faz a implementação, e o autor da implementação não vê os testes de aceitação. A revisão também verifica o escopo: alterações fora das áreas declaradas não passam.
O CI final reverte a alteração enquanto houver falhas.
Tudo isso é necessário porque o modelo diz «pronto» mesmo com testes vermelhos: a verificação final devolveu para ajustes uma de cada quatro tarefas. Por isso, o que libera a saída dos dois ciclos não é a palavra do modelo, mas um conjunto de verificações com regra rígida. O autor resume assim: o gargalo já não é o modelo, e sim as regras, as verificações e as ferramentas ao redor dele. O modelo, por sua vez, é um núcleo substituível: a troca levava minutos, e os seis têm API compatível com a da OpenAI.
E a dívida técnica?
Onde fica o limite
O autor esperava que a dívida técnica crescesse, mas, por indícios indiretos, ela não se acumulou. Quatro mecanismos seguram o problema: a verificação de escopo, a revisão por um papel separado, os 2 188 testes e a refatoração tratada como um pedido comum no fluxo. A velocidade não serve de prova: a mediana do caminho subiu de cerca de 20 minutos na segunda parte para 33, mas as tarefas também ficaram mais pesadas, com refatoração, grandes pacotes de assets e redesenhos. Não é possível separar essas causas a partir dos dados. Um argumento indireto é a reprodutibilidade: nenhuma das seis versões tropeçou no longo prazo.
Já a dívida de produto se acumulou de sobra. A esteira aceitava qualquer pedido, e o jogo ganhou de tudo, de roleta a um modo Tower Defense. Existe um examinador para o código, mas o autor nunca construiu um examinador que pergunte «para que isso serve no jogo».
A conclusão prática: antes de trocar de modelo por uma fração de ponto percentual em benchmark, invista em especificação, papéis separados, testes antes do código e reversão em caso de CI vermelho. E decidir o que vale a pena fazer continua sendo trabalho do humano.
- 18 de nov. de 2026GPT 6.2 Sol Ultrafast entrega 150 tokens/s e consome 6 vezes mais limites
- 18 de nov. de 2026StarSling reduz o build mais longo da Mastra de 29 para 5 minutos
- 18 de nov. de 2026Mellum, da JetBrains, roda localmente na IDE: em um MacBook M3 Pro, a nota foi 5 de 10
- 18 de nov. de 2026OpenAI lança IA jurídica: 95% menos fatos inventados do que o Claude Opus 5.5
Perguntas frequentes sobre a notícia
O que o experimento rendeu em números?
Ao todo, chegaram cerca de 265 pedidos: 228 foram até a produção, 10 foram barrados na entrada por serem injeções, e cerca de 27 travaram na esteira. Os pedidos vieram de 24 autores. A mediana do caminho do pedido até a produção (sem contar a espera por respostas do jogador) foi de 33 minutos, e a média, de 46. A tarefa mais teimosa levou 13 horas e 7 devoluções para ajustes. A base de código ganhou 128 mil linhas e perdeu 23 mil. Os testes automatizados somam 2 188, dos quais 299 são testes e2e de aceitação.
Como funciona a esteira e por que «pronto» não significa nada?
A esteira tem nove etapas, e quatro delas ocorrem antes da primeira linha de código. O modelo confronta o pedido com o comportamento existente e faz perguntas de esclarecimento ao autor. Depois, o CI roda sobre a base intocada: a frase «os erros já existiam antes de mim» deixa de ser opinião e vira um fato que a execução dos testes confirma ou refuta. Em seguida, escreve-se a especificação, com as áreas de mudança e um item sobre «o que não fazemos».
O que se sabe sobre E a dívida técnica? Onde fica o limite?
O autor esperava que a dívida técnica crescesse, mas, por indícios indiretos, ela não se acumulou. Quatro mecanismos seguram o problema: a verificação de escopo, a revisão por um papel separado, os 2 188 testes e a refatoração tratada como um pedido comum no fluxo. A velocidade não serve de prova: a mediana do caminho subiu de cerca de 20 minutos na segunda parte para 33, mas as tarefas também ficaram mais pesadas, com refatoração, grandes pacotes de assets e redesenhos.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.