Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Agentes de IA lançaram 228 releases de um jogo sem revisão humana; 25% das tarefas foram devolvidas pelos testes

Um desenvolvedor entregou um jogo de navegador a agentes de IA autônomos. Os jogadores enviavam pedidos, o modelo escrevia o código e a revisão, um algoritmo fazia o deploy em produção, e o humano não leu nenhuma linha. Em um mês e meio, saíram 228 releases. Só que o modelo dizia «pronto» mesmo com testes falhando: a verificação final devolveu para ajustes uma de cada quatro tarefas (25%). A conclusão é que a qualidade vem da esteira de verificações ao redor do modelo, e não da escolha do modelo em si.

Processado por IA de Habr AI; editado por Hamidun News
Agentes de IA lançaram 228 releases de um jogo sem revisão humana; 25% das tarefas foram devolvidas pelos testes
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Do pedido à produçãomediana de 33 minutos; a tarefa mais teimosa levou 13 horas
Dado-chave #2Seis modelos abertos; 22,7 bilhões de tokens passaram pelo OpenRouter
Dado-chave #3No código, +128 mil linhas e 2 188 testes automatizados; a dívida técnica não se acumulou

Dá para confiar à IA não apenas sugestões no editor, mas todo o desenvolvimento de um produto, do pedido ao deploy em produção, sem que um humano olhe o código uma única vez? O autor de um experimento em três partes no Habr testou isso na prática e apresentou os resultados. Um jogo de navegador, um simulador tático em estilo cartoon, foi desenvolvido por agentes de IA.

Os jogadores enviavam pedidos, como «adicionem um novo modo» ou «mudem o comportamento de uma unidade». O modelo escrevia o código, outro papel do mesmo modelo fazia a revisão, e um algoritmo fazia o deploy em produção. O humano não leu nenhuma linha do diff.

O resultado foram 228 releases. O texto interessa a quem decide onde investir: em um modelo mais badalado ou nas regras e verificações ao redor dele.

Um esclarecimento importante: o experimento trata de desenvolvimento autônomo, em que o pedido chega, a esteira o leva até a produção e o humano não lê o código. Isso não é trabalho em par com o modelo, em que o engenheiro divide a tarefa em etapas e confere ao longo do caminho. Nesse segundo cenário, os modelos fechados mais fortes de fato mostram vantagem, mas a conclusão para o modo autônomo é outra.

O que o experimento rendeu em números

Ao todo, chegaram cerca de 265 pedidos: 228 foram até a produção, 10 foram barrados na entrada por serem injeções, e cerca de 27 travaram na esteira. Os pedidos vieram de 24 autores. A mediana do caminho do pedido até a produção (sem contar a espera por respostas do jogador) foi de 33 minutos, e a média, de 46. A tarefa mais teimosa levou 13 horas e 7 devoluções para ajustes.

A base de código ganhou 128 mil linhas e perdeu 23 mil. Os testes automatizados somam 2 188, dos quais 299 são testes e2e de aceitação. Trabalharam seis modelos de pesos abertos: quatro pesados (Kimi K2.7 Code, DeepSeek V4 Pro, GLM 5.2, Qwen3-Coder 480B) e dois leves, DeepSeek V4.1 Flash e GLM 5.3 Flash. Pelo OpenRouter passaram 22,7 bilhões de tokens e 363 mil requisições. Desse total, 2,8 bilhões foram do experimento aberto, e os outros 19,9 bilhões do fechado, em que cada modelo refez sozinho todo o histórico a partir do commit inicial.

As seis versões finais passaram nos testes e2e do fim do experimento aberto. Porém, os seletores tiveram de ser ajustados à mão para os nomes de classes CSS de cada modelo: de três a quatro horas por versão, cerca de um dia no total. No experimento fechado, as tarefas demoraram mais: mediana de 48 minutos contra 33, e média de 68 contra 46.

Como funciona a esteira e por que «pronto» não significa nada

A esteira tem nove etapas, e quatro delas ocorrem antes da primeira linha de código. O modelo confronta o pedido com o comportamento existente e faz perguntas de esclarecimento ao autor. Depois, o CI roda sobre a base intocada: a frase «os erros já existiam antes de mim» deixa de ser opinião e vira um fato que a execução dos testes confirma ou refuta.

Em seguida, escreve-se a especificação, com as áreas de mudança e um item sobre «o que não fazemos». Um desenvolvedor escreve os testes e outro faz a implementação, e o autor da implementação não vê os testes de aceitação. A revisão também verifica o escopo: alterações fora das áreas declaradas não passam.

O CI final reverte a alteração enquanto houver falhas.

Tudo isso é necessário porque o modelo diz «pronto» mesmo com testes vermelhos: a verificação final devolveu para ajustes uma de cada quatro tarefas. Por isso, o que libera a saída dos dois ciclos não é a palavra do modelo, mas um conjunto de verificações com regra rígida. O autor resume assim: o gargalo já não é o modelo, e sim as regras, as verificações e as ferramentas ao redor dele. O modelo, por sua vez, é um núcleo substituível: a troca levava minutos, e os seis têm API compatível com a da OpenAI.

E a dívida técnica?

Onde fica o limite

O autor esperava que a dívida técnica crescesse, mas, por indícios indiretos, ela não se acumulou. Quatro mecanismos seguram o problema: a verificação de escopo, a revisão por um papel separado, os 2 188 testes e a refatoração tratada como um pedido comum no fluxo. A velocidade não serve de prova: a mediana do caminho subiu de cerca de 20 minutos na segunda parte para 33, mas as tarefas também ficaram mais pesadas, com refatoração, grandes pacotes de assets e redesenhos. Não é possível separar essas causas a partir dos dados. Um argumento indireto é a reprodutibilidade: nenhuma das seis versões tropeçou no longo prazo.

Já a dívida de produto se acumulou de sobra. A esteira aceitava qualquer pedido, e o jogo ganhou de tudo, de roleta a um modo Tower Defense. Existe um examinador para o código, mas o autor nunca construiu um examinador que pergunte «para que isso serve no jogo».

A conclusão prática: antes de trocar de modelo por uma fração de ponto percentual em benchmark, invista em especificação, papéis separados, testes antes do código e reversão em caso de CI vermelho. E decidir o que vale a pena fazer continua sendo trabalho do humano.

História

Perguntas frequentes sobre a notícia

O que o experimento rendeu em números?

Ao todo, chegaram cerca de 265 pedidos: 228 foram até a produção, 10 foram barrados na entrada por serem injeções, e cerca de 27 travaram na esteira. Os pedidos vieram de 24 autores. A mediana do caminho do pedido até a produção (sem contar a espera por respostas do jogador) foi de 33 minutos, e a média, de 46. A tarefa mais teimosa levou 13 horas e 7 devoluções para ajustes. A base de código ganhou 128 mil linhas e perdeu 23 mil. Os testes automatizados somam 2 188, dos quais 299 são testes e2e de aceitação.

Como funciona a esteira e por que «pronto» não significa nada?

A esteira tem nove etapas, e quatro delas ocorrem antes da primeira linha de código. O modelo confronta o pedido com o comportamento existente e faz perguntas de esclarecimento ao autor. Depois, o CI roda sobre a base intocada: a frase «os erros já existiam antes de mim» deixa de ser opinião e vira um fato que a execução dos testes confirma ou refuta. Em seguida, escreve-se a especificação, com as áreas de mudança e um item sobre «o que não fazemos».

O que se sabe sobre E a dívida técnica? Onde fica o limite?

O autor esperava que a dívida técnica crescesse, mas, por indícios indiretos, ela não se acumulou. Quatro mecanismos seguram o problema: a verificação de escopo, a revisão por um papel separado, os 2 188 testes e a refatoração tratada como um pedido comum no fluxo. A velocidade não serve de prova: a mediana do caminho subiu de cerca de 20 minutos na segunda parte para 33, mas as tarefas também ficaram mais pesadas, com refatoração, grandes pacotes de assets e redesenhos.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…