Após uma falha, agentes só revertem o trabalho em 47% dos casos, embora resolvam 84% das tarefas
O agente corrigiu o código, rodou os testes e, de quebra, alterou um timeout na configuração e disparou notificações. O git revert devolve apenas os arquivos. No benchmark UndoBench, os agentes resolveram 84% das tarefas, mas, depois de uma falha, só conseguiram reverter o trabalho em 47% das execuções que normalmente seriam bem-sucedidas. Cinco palestras chegam à mesma conclusão: o snapshot de estado e as proibições precisam estar no código do harness, e não no prompt. Do contrário, um agente "bem-sucedido" deixa a falha para trás.
Processado por IA de Habr AI; editado por Hamidun News
O agente ajustou o código, rodou os testes, obteve um build verde e marcou a tag de release. Depois a integração falha, e descobre-se que, de quebra, ele alterou um timeout na configuração, chamou uma API externa e disparou notificações. O comando git revert devolve os arquivos do repositório, mas não as configurações do ambiente nem os e-mails já enviados.
Os autores do UndoBench, um conjunto de testes de reversibilidade das ações de agentes, mediram essa lacuna: em execuções normais, os agentes concluíam 84% das tarefas; quando uma falha artificial era adicionada à execução, eles se recuperavam em apenas 47% daquelas execuções que normalmente seriam bem-sucedidas. Os denominadores dos dois números são diferentes, e os autores avisam isso com franqueza, mas a distância continua sendo reveladora. O autor de uma análise no Habr examinou cinco palestras de conferências recentes de IA, e a conclusão prática para o desenvolvedor é esta: a capacidade de reverter precisa ser projetada em torno do modelo, em vez de esperar que ele mesmo desfaça o próprio trabalho.
UndoBench e EvoUndo: o agente resolveu a tarefa, mas não sabe desfazê-la
O UndoBench foi testado em 2880 ensaios pareados: execução normal contra execução com falha. O Git rastreia apenas os arquivos do repositório, enquanto os agentes de código alteram configurações do ambiente, ativam middleware, atualizam registros de ferramentas e acessam serviços externos, como deploy ou bancos de dados. Reverter um commit não alcança esses efeitos.
O projeto seguinte dos mesmos autores, o EvoUndo, mostrou um quadro ainda mais incômodo. Em 600 tarefas de autoevolução, os agentes melhoraram seus resultados em 478 casos, mas em 197 deles (cerca de 42%) a recuperação quebrou: o agente ficava mais inteligente e perdia a reversibilidade. Pedir ao modelo, no prompt, que consertasse o rollback se mostrou inútil: quatro estratégias de reparo com verificador devolveram zero das 197 correções.
Duas coisas ajudaram. A primeira é a vinculação ao estado: para voltar um timeout de 60 para 30, é preciso saber o valor antigo. Quando o agente recebeu esses dados, a recuperação subiu de zero para 38 em 48 casos.
A segunda é uma linguagem de rollback mais rica: em um experimento isolado, a recuperação subiu de zero para 142 em 143 casos, e no conjunto completo foram recuperadas 180 das 197 correções (cerca de 92%). As melhorias válidas passaram a ser 461 de 600, em vez de 281. O mecanismo funciona assim: antes da alteração, salva-se um snapshot do estado original; em um ambiente de teste, o agente faz a mudança e executa de imediato o plano de rollback; um verificador independente compara o resultado com o snapshot.
A correção só é aceita se a qualidade melhorou e os valores voltaram ao que eram. Se o rollback é impossível, o agente para e chama um humano.
Timeout, subagentes e cotas: Microsoft e Harvey
Um principal engineer da Microsoft, autor da ponte open source MCP Pacemaker (ele ressalva que fala em nome próprio), lembra que um timeout significa apenas que a resposta não chegou, e não que a operação falhou. No UndoBench, o agente pede ao tracker que abra um ticket, o servidor cria o ticket 781, mas a confirmação se perde, e o agente repete a requisição às cegas. Quando a resposta se perdia, as repetições ingênuas geraram duplicatas em 54% dos ensaios.
O segundo problema são os subagentes. Diante de uma falha parcial, eles entregam um texto fluente, com a mesma confiança de quando fizeram a verificação completa, e o orquestrador vê a saída, mas não sabe quanto trabalho existe por trás dela. O autor reuniu suas regras no esquema SAFE, sem pretender que seja um padrão universal: os fatos têm fonte e prazo de validade; a escrita externa acontece no máximo uma vez, com uma permissão de uso único verificada pelo código no gateway; as partidas paralelas são limitadas; o subagente devolve um status explícito com evidências, e o relatório é reconferido por um script.
O SAFE não faz o rollback em si: para desfazer operações externas, são necessárias etapas compensatórias no padrão Saga.
A Harvey mostrou o custo de não ter cotas. Em agosto, um bug gerou um alerta para cada workspace e, em vez das 50 tarefas diárias habituais, cerca de 900 agentes foram disparados em quatro horas. Em outubro, um engenheiro enfileirou cerca de 950 tarefas em três horas e entupiu a fila de novo. Os alertas repetidos passaram a ser anexados a uma investigação já aberta, as execuções foram direcionadas por uma fila justa com prioridade para humanos, e a regra de automação é desativada após cinco falhas seguidas. Em um teste com 300 tarefas, a partida ficou mais rápida: de quase dois segundos para 70 milissegundos, segundo o palestrante.
Proibições no código e escada de autonomia: Anthropic e Meta
Lydia, da equipe do Claude Code, contou que o número de alterações cresceu de 2500 por dia em maio para mais de 30 000 em setembro. Desde agosto, o auto mode vem ativado por padrão: ele bloqueia 89% dos comandos sabidamente perigosos, enquanto humanos pegavam cerca de 14%. Mesmo assim, cerca de um em cada dez comandos perigosos ainda passa, e por isso quem dá as garantias é o harness, não o prompt.
O que é irreversível, como ler o .env ou apagar alterações não commitadas, fica a cargo de deny rules e de um sandbox em nível de SO: a regra de permissão verifica apenas o nome do comando, e não o que o processo vai acessar por dentro. Há ainda uma armadilha: com exit code 1, o Claude Code marca a tarefa como concluída, e, para devolver o agente à correção, o hook precisa retornar exit code 2.
A equipe de incidentes da Meta (que estima que cerca de três quartos do código novo ali sejam escritos com IA) colocou de plantão um parceiro de IA com uma escada de autonomia, como a de um engenheiro recém-chegado. Primeiro ele apenas investiga; depois escreve patches que um humano aprova; e só então fecha sozinho, via CI, alertas ruidosos e duplicados. No exemplo de um resumo matinal com 23 itens, o agente fechou 18 sozinho, acompanhou 2 e repassou 3 a um humano.
O que fazer na prática
Capture o estado antes de qualquer mutação fora do Git. Exija dos subagentes um status explícito e verifique o estado externo antes de repetir uma requisição. Leve as proibições irreversíveis para deny rules e sandbox. Defina limites para execuções paralelas e desativação automática de automações. Conceda autonomia por tipo de ação: leve em conta o custo do erro e o histórico de acertos.
- 12 de nov. de 2026Jensen Huang deixa o cargo de CEO da Nvidia: empresa perde US$ 1,4 trilhão em duas semanas
- 12 de nov. de 2026Oito países, OpenAI e Anthropic prometem um «botão de desligar» para modelos de IA, mas sem prazos nem multas
- 12 de nov. de 2026Microsoft patenteia treino de IA em placas de vídeo ociosas com pagamento pelo trabalho
- 12 de nov. de 2026Pesquisador com um notebook e o Claude encontrou mais de 100 falhas no código de sites do governo britânico
Perguntas frequentes sobre a notícia
O que se sabe sobre UndoBench e EvoUndo: o agente resolveu a tarefa, mas não sabe desfazê-la?
O UndoBench foi testado em 2880 ensaios pareados: execução normal contra execução com falha. O Git rastreia apenas os arquivos do repositório, enquanto os agentes de código alteram configurações do ambiente, ativam middleware, atualizam registros de ferramentas e acessam serviços externos, como deploy ou bancos de dados. Reverter um commit não alcança esses efeitos. O projeto seguinte dos mesmos autores, o EvoUndo, mostrou um quadro ainda mais incômodo.
O que se sabe sobre Timeout, subagentes e cotas: Microsoft e Harvey?
Um principal engineer da Microsoft, autor da ponte open source MCP Pacemaker (ele ressalva que fala em nome próprio), lembra que um timeout significa apenas que a resposta não chegou, e não que a operação falhou. No UndoBench, o agente pede ao tracker que abra um ticket, o servidor cria o ticket 781, mas a confirmação se perde, e o agente repete a requisição às cegas. Quando a resposta se perdia, as repetições ingênuas geraram duplicatas em 54% dos ensaios. O segundo problema são os subagentes.
O que se sabe sobre Proibições no código e escada de autonomia: Anthropic e Meta?
Lydia, da equipe do Claude Code, contou que o número de alterações cresceu de 2500 por dia em maio para mais de 30 000 em setembro. Desde agosto, o auto mode vem ativado por padrão: ele bloqueia 89% dos comandos sabidamente perigosos, enquanto humanos pegavam cerca de 14%. Mesmo assim, cerca de um em cada dez comandos perigosos ainda passa, e por isso quem dá as garantias é o harness, não o prompt.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.