En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoPaper científico · Para I+DHabr AI→ original

Tras un fallo, los agentes revierten su trabajo solo en el 47% de los casos, aunque resuelven el 84% de las tareas

Un agente arregló el código, ejecutó los tests y, de paso, cambió un timeout en la configuración y envió notificaciones. git revert solo recupera los archivos. En el benchmark UndoBench, los agentes resolvieron el 84% de las tareas, pero tras un fallo solo lograron revertir el 47% de las ejecuciones que en condiciones normales terminaban bien. Cinco ponencias coinciden: la instantánea del estado y las prohibiciones deben vivir en el código del arnés (harness), no en el prompt. De lo contrario, un agente «exitoso» dejará la avería sin reparar.

Procesado por IA desde Habr AI; editado por Hamidun News
Tras un fallo, los agentes revierten su trabajo solo en el 47% de los casos, aunque resuelven el 84% de las tareas
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
EvoUndoen 197 de 600 mejoras del agente se rompió la reversión; un lenguaje de reversión más rico recuperó 180
Harveyun solo bug lanzó cerca de 900 agentes en 4 horas, frente a una norma de 50 tareas al día
Claude Codeel auto mode bloquea el 89% de los comandos peligrosos; las personas detectaban cerca del 14%

Un agente corrigió el código, ejecutó los tests, obtuvo un build en verde y colocó la etiqueta de release. Después falla la integración y resulta que, de paso, había cambiado un timeout en la configuración, había llamado a una API externa y había enviado notificaciones. El comando git revert devuelve los archivos del repositorio, pero no los ajustes del entorno ni los correos ya enviados.

Los autores de UndoBench, un conjunto de pruebas sobre la reversibilidad de las acciones de un agente, midieron esta brecha. En una ejecución normal, los agentes completaban el 84% de las tareas. Cuando se añadía un fallo artificial, se recuperaban solo en el 47% de las ejecuciones que en condiciones normales habían sido exitosas.

Los denominadores de ambas cifras son distintos, y los autores lo advierten con honestidad, pero la diferencia sigue siendo reveladora. El autor de un análisis publicado en Habr estudió cinco ponencias de conferencias recientes de IA. La conclusión práctica para el desarrollador es esta: hay que diseñar la capacidad de reversión alrededor del modelo, en lugar de esperar que el propio modelo deshaga su trabajo.

UndoBench y EvoUndo: el agente resolvió la tarea, pero no sabe deshacerla

UndoBench se probó con 2880 pruebas pareadas: una ejecución normal frente a una ejecución con fallo. Git solo rastrea los archivos del repositorio, mientras que los agentes de programación modifican configuraciones del entorno, activan middleware, actualizan registros de herramientas y acceden a servicios externos, como sistemas de despliegue o bases de datos. Revertir un commit no afecta a esos efectos.

El siguiente proyecto de los mismos autores, EvoUndo, mostró un panorama aún más incómodo. En 600 tareas de autoevolución, los agentes mejoraron sus resultados en 478 casos, pero en 197 de ellos (cerca del 42%) se rompió la recuperación: el agente se volvía más inteligente y perdía la reversibilidad. Pedirle al modelo en el prompt que arreglara la reversión resultó inútil: cuatro estrategias de reparación con verificador no recuperaron ninguna de las 197 modificaciones.

Ayudaron dos cosas. La primera es anclar la reversión al estado: para devolver un timeout de 60 a 30 hay que conocer el valor anterior. Cuando se proporcionaron esos datos al agente, la recuperación pasó de cero a 38 de 48 casos.

La segunda es un lenguaje de reversión más rico: en un experimento aislado, la recuperación subió de cero a 142 de 143 casos, y en el conjunto completo se recuperaron 180 de las 197 modificaciones (cerca del 92%). Las mejoras admisibles pasaron a ser 461 de 600, en lugar de 281. El mecanismo funciona así: antes de cada modificación se guarda una instantánea del estado inicial; en un entorno de pruebas, el agente aplica el cambio y ejecuta de inmediato el plan de reversión; y un verificador independiente compara el resultado con la instantánea.

La modificación solo se acepta si la calidad ha mejorado y los valores han vuelto a su estado original. Si la reversión no es posible, el agente se detiene y llama a una persona.

Timeout, subagentes y cuotas: Microsoft y Harvey

Un principal engineer de Microsoft, autor del puente open source MCP Pacemaker (aclara que expresa su opinión personal), recuerda que un timeout solo significa que la respuesta no llegó, no que la operación haya fallado. En UndoBench, el agente pide a un tracker que cree un ticket, el servidor crea el ticket 781, pero la confirmación se pierde y el agente repite la solicitud a ciegas. Cuando se perdía la respuesta, los reintentos ingenuos generaron duplicados en el 54% de las pruebas.

El segundo problema son los subagentes. Ante un fallo parcial, entregan un texto pulido con la misma seguridad que tras una verificación completa. El orquestador ve la salida, pero no ve cuánto trabajo hay detrás.

El autor reunió sus reglas en un esquema llamado SAFE, sin pretender que sea un estándar universal. Los hechos tienen una fuente y una fecha de caducidad. La escritura externa ocurre como máximo una vez, con un permiso de un solo uso que verifica el código en la pasarela.

Los arranques en paralelo están limitados. El subagente devuelve un estado explícito con evidencias, y un script vuelve a comprobar el informe. SAFE no hace la reversión por sí mismo: para deshacer operaciones externas hacen falta pasos compensatorios según el patrón Saga.

Harvey mostró el coste de no tener cuotas. En agosto, un bug generó una alerta por cada espacio de trabajo y, en lugar de las 50 tareas diarias habituales, se lanzaron cerca de 900 agentes en cuatro horas. En octubre, un ingeniero encoló cerca de 950 tareas en tres horas y volvió a saturar la cola. Ahora las alertas repetidas se adjuntan a la investigación abierta, los lanzamientos pasan por una cola justa con prioridad para las personas, y la regla de automatización se desactiva tras cinco fallos seguidos. En una prueba con 300 tareas, el arranque se aceleró, según el ponente, de casi dos segundos a 70 milisegundos.

Prohibiciones en el código y escalera de autonomía: Anthropic y Meta

Lydia, del equipo de Claude Code, contó que el número de cambios pasó de 2500 al día en mayo a más de 30 000 en septiembre. Desde agosto, el auto mode está activado por defecto: bloquea el 89% de los comandos claramente peligrosos, mientras que las personas detectaban cerca del 14%. Aun así, aproximadamente uno de cada diez comandos peligrosos pasa, por lo que las garantías las da el arnés, no el prompt.

Lo irreversible, como leer .env o borrar cambios sin commit, se cubre con deny rules y un sandbox a nivel de sistema operativo: una regla de permiso solo comprueba el nombre del comando, no adónde acabará llegando el proceso en su interior. También hay una trampa: con exit code 1, Claude Code marca la tarea como completada, y para que el agente vuelva a corregir, el hook debe devolver exit code 2.

El equipo de incidentes de Meta (según su estimación, cerca de tres cuartas partes del código nuevo se escribe allí con IA) puso de guardia a un único compañero de IA con una escalera de autonomía, igual que la de un ingeniero recién llegado. Primero solo investiga; después escribe parches que aprueba una persona; y solo al final cierra por sí mismo las alertas ruidosas y los duplicados mediante CI. En un ejemplo de resumen matutino de 23 elementos, el agente cerró 18 por su cuenta, gestionó 2 y traspasó 3 a una persona.

Qué hacer en la práctica

Guarde el estado antes de cualquier mutación fuera de Git. Exija a los subagentes un estado explícito y compruebe el estado externo antes de repetir una solicitud. Lleve las prohibiciones irreversibles a deny rules y a un sandbox. Ponga límites a las ejecuciones paralelas y desactive automáticamente las automatizaciones que fallen. Otorgue autonomía según el tipo de acción, teniendo en cuenta el coste del error y el historial de aciertos.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre UndoBench y EvoUndo: el agente resolvió la tarea, pero no sabe deshacerla?

UndoBench se probó con 2880 pruebas pareadas: una ejecución normal frente a una ejecución con fallo. Git solo rastrea los archivos del repositorio, mientras que los agentes de programación modifican configuraciones del entorno, activan middleware, actualizan registros de herramientas y acceden a servicios externos, como sistemas de despliegue o bases de datos. Revertir un commit no afecta a esos efectos. El siguiente proyecto de los mismos autores, EvoUndo, mostró un panorama aún más incómodo.

¿Qué se sabe sobre Timeout, subagentes y cuotas: Microsoft y Harvey?

Un principal engineer de Microsoft, autor del puente open source MCP Pacemaker (aclara que expresa su opinión personal), recuerda que un timeout solo significa que la respuesta no llegó, no que la operación haya fallado. En UndoBench, el agente pide a un tracker que cree un ticket, el servidor crea el ticket 781, pero la confirmación se pierde y el agente repite la solicitud a ciegas. Cuando se perdía la respuesta, los reintentos ingenuos generaron duplicados en el 54% de las pruebas.

¿Qué se sabe sobre Prohibiciones en el código y escalera de autonomía: Anthropic y Meta?

Lydia, del equipo de Claude Code, contó que el número de cambios pasó de 2500 al día en mayo a más de 30 000 en septiembre. Desde agosto, el auto mode está activado por defecto: bloquea el 89% de los comandos claramente peligrosos, mientras que las personas detectaban cerca del 14%. Aun así, aproximadamente uno de cada diez comandos peligrosos pasa, por lo que las garantías las da el arnés, no el prompt.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…