ReplayRCA: una corrección en el último paso resta 17,1 puntos de corrección causal a un modelo fuerte

Cuando un agente basado en un modelo de lenguaje fracasa en una tarea de varios pasos, cada vez es más habitual encargar a otro modelo que averigüe las causas. Los autores del benchmark ReplayRCA proponen validar ese diagnóstico no contrastándolo con anotaciones humanas, sino por sus consecuencias. El entorno vuelve al estado previo al paso elegido, la acción del agente se sustituye por la que propone el diagnosticador y el mismo agente sigue actuando por su cuenta.

La métrica principal es la corrección causal: la proporción de continuaciones exitosas tras la corrección menos la proporción de continuaciones exitosas en una ejecución de control que reproduce la acción original del agente (placebo emparejado). En esos mismos puntos se mide también el resultado principal: si se obliga a un modelo fuerte a intervenir solo en el último paso, pierde 17,1 puntos de corrección causal.

Cómo separar el diagnóstico de la suerte

El placebo evita atribuir al diagnosticador lo que el agente habría conseguido igualmente en un segundo intento. De la puntuación se descuentan la posibilidad de recuperarse por sí solo, el efecto del reinicio y el ruido de muestreo. Ni el modelo juez ni los anotadores participan en el cálculo: la verdad la establece la propia repetición.

Hay una razón para este enfoque. Los benchmarks existentes de atribución de fallos comparan la respuesta con una etiqueta, y la etiqueta es discutible: el «paso decisivo» es una valoración del anotador, y otro punto de corrección igualmente eficaz se cuenta como error. Además, según el trabajo de Naagarajan y Streif (2026), la respuesta «siempre el último paso» acierta entre el 67 y el 96% de los casos en los conjuntos existentes, y cae casi a nivel aleatorio solo en los fallos cuyo paso decisivo confirma la repetición.

Las tareas proceden de OpsWorld, un entorno de back-office determinista y generado de forma procedimental, con 15 herramientas, tres familias de tareas y seis niveles de dificultad. El último nivel es multimodal: códigos QR, fotografías de formularios y texto manuscrito. Las instancias se crean a partir de una seed, de modo que se pueden generar tareas nuevas, lo que limita la memorización de las publicadas, y cada restauración de estado se verifica.

Qué mostraron los 13 modelos

En 62 fallos de sistema calibrados, el mejor resultado es el de Grok 4.7. Sin embargo, ninguna de las 78 diferencias por pares resiste la corrección por comparaciones múltiples, así que el orden observado no puede considerarse una jerarquía fiable. Los modelos insignia de los dos mayores proveedores, GPT-6 Astra y Claude Fable 5.1, quedaron en los puestos 8.º y 12.º. Los autores aclaran que los modelos de Claude se ejecutaron por debajo del nivel máximo de razonamiento, y una ablación muestra que para Claude Haiku 5.5 esto cuesta 15,2 puntos. Ningún modelo corrigió cinco de las tareas.

El truco estructural de «siempre el último paso», que domina en los benchmarks basados en anotaciones, aquí no se traslada: la intervención forzada en el último paso cuesta a un modelo fuerte los 17,1 puntos mencionados.

Explicar un fallo y prevenirlo son habilidades distintas

La segunda pista es la supervisión en vivo. El supervisor sigue la ejecución a medida que avanza y puede intervenir una sola vez antes de una acción irreversible, sin saber si la ejecución fracasará. En la muestra se incluyeron también ejecuciones exitosas para medir las falsas alarmas. Es el planteamiento de la supervisión y el control escalables de la IA, pero aplicado a errores honestos y no a agentes adversarios, y evaluado por sus consecuencias.

En 87 ejecuciones, los dos mejores supervisores son estadísticamente indistinguibles, y uno de ellos es un modelo abierto pequeño, DeepSeek V4.1 Flash. GPT-6.1 Sol figura entre los mejores diagnosticadores a posteriori, pero como supervisor en vivo resultó el más débil. Presenta la mayor brecha entre «explicar» y «prevenir» sobre las mismas ejecuciones. La conclusión de los autores: la calidad del análisis tras un fallo puede predecir mal la calidad del control en tiempo real.

Limitaciones y novedad

La repetición contrafactual no es nueva en sí misma: la usan CausalFlow, REFLECT, SymTrace y otros trabajos, aunque como método para verificar las propias decisiones del modelo. En ReplayRCA, la repetición es la regla de evaluación para cualquier modelo diagnosticador. Cada puntuación se calcula respecto al placebo en el mismo paso, y los mismos fallos sirven tanto para el análisis a posteriori como para la supervisión en vivo.

Las instancias publicadas y la estructura del generador siguen siendo «aprendibles». Los autores plantean la posibilidad de regenerar el conjunto a medida que los agentes mejoren, pero todavía no han podido comprobarla. Ellos mismos presentan ReplayRCA como un protocolo reutilizable y no como un ranking: el entorno y el código de evaluación están publicados en GitHub. La conclusión práctica para los equipos que construyen supervisión de agentes: elegir al supervisor por la calidad de sus análisis a posteriori es arriesgado, y conviene probarlo en ejecuciones en vivo con una mezcla de éxitos y fracasos.