ReplayRCA: corrigir apenas o último passo tira 17,1 pontos de correção causal de um modelo forte

Quando um agente baseado em modelo de linguagem fracassa em uma tarefa de vários passos, é cada vez mais comum delegar a análise das causas a outro modelo. Os autores do ReplayRCA propõem validar esse diagnóstico pelas consequências, e não por comparação com anotações humanas. O ambiente volta ao estado anterior ao passo escolhido, a ação do agente é substituída pela sugerida pelo diagnosticador, e o mesmo agente segue sozinho a partir dali.

A métrica principal é a correção causal: a taxa de continuações bem-sucedidas após a intervenção menos a taxa de continuações bem-sucedidas em uma execução de controle, na qual a ação original do agente é reproduzida (o placebo pareado). É nessa unidade de pontos que se mede também o principal resultado: se um modelo forte for obrigado a intervir apenas no último passo, ele perde 17,1 pontos de correção causal.

Como separar diagnóstico de sorte

O placebo existe para que o diagnosticador não receba crédito por algo que o agente conseguiria de qualquer maneira em uma segunda tentativa. Da avaliação saem a chance de se recuperar sozinho, o efeito da reinicialização e o ruído de amostragem. O modelo juiz e os anotadores não participam do cálculo: a referência é a própria reexecução.

Há um motivo para essa abordagem. Os benchmarks existentes de atribuição de falhas comparam a resposta com um rótulo, e o rótulo é questionável: o "passo decisivo" é uma avaliação do anotador, e outro ponto de correção, igualmente eficaz, é contado como erro. Além disso, segundo o trabalho de Naagarajan e Streif (2026), a resposta "sempre o último passo" está correta em 67–96% dos casos nos conjuntos existentes e cai a um nível quase aleatório apenas nas falhas cujo passo decisivo é confirmado pela reexecução.

As tarefas vêm do OpsWorld, um ambiente de back-office determinístico e gerado proceduralmente, com 15 ferramentas, três famílias de tarefas e seis níveis de dificuldade. O último nível é multimodal: QR codes, fotos de formulários e texto manuscrito. As instâncias são criadas a partir de uma seed, de modo que é possível gerar novas tarefas a qualquer momento, o que limita a memorização das já publicadas, e cada restauração de estado é verificada.

O que mostraram os 13 modelos

Nas 62 falhas sistêmicas calibradas, o melhor resultado é do Grok 4.7. No entanto, nenhuma das 78 diferenças par a par resiste à correção para comparações múltiplas, então a ordem observada não pode ser tratada como uma hierarquia confiável. Os modelos principais dos dois maiores fornecedores, GPT-6 Astra e Claude Fable 5.1, ficaram em 8º e 12º lugares. Os autores fazem uma ressalva: os modelos Claude foram executados abaixo do nível máximo de raciocínio, e uma ablação mostra que, para o Claude Haiku 5.5, isso custa 15,2 pontos. Nenhum modelo corrigiu cinco das tarefas.

O truque estrutural do "sempre o último passo", que domina os benchmarks baseados em anotação, não se transfere para cá: a intervenção forçada no último passo custa a um modelo forte os já mencionados 17,1 pontos.

Explicar a falha e preveni-la são habilidades diferentes

A segunda trilha é a supervisão ao vivo. O supervisor acompanha a execução conforme ela avança e pode intervir uma única vez antes de uma ação irreversível, sem saber se a execução vai falhar. A amostra inclui também execuções bem-sucedidas, para medir alarmes falsos. É a formulação de supervisão e controle escaláveis de IA, mas aplicada a erros honestos, e não a agentes hostis, e avaliada pelas consequências.

Em 87 execuções, os dois melhores supervisores são estatisticamente indistinguíveis, e um deles é um modelo aberto pequeno, o DeepSeek V4.1 Flash. O GPT-6.1 Sol está entre os melhores diagnosticadores a posteriori, mas, como supervisor ao vivo, foi o mais fraco. Ele tem a maior distância entre "explicar" e "prevenir" nas mesmas execuções. A conclusão dos autores: a qualidade da análise depois da falha pode prever mal a qualidade do controle em tempo real.

Limitações e novidade

A reexecução contrafactual em si não é nova: CausalFlow, REFLECT, SymTrace e outros trabalhos a utilizam, mas como forma de verificar as próprias decisões do agente. No ReplayRCA, a reexecução é a regra de avaliação para qualquer modelo diagnosticador, cada pontuação é calculada em relação ao placebo no mesmo passo, e as mesmas falhas servem tanto à análise posterior quanto à supervisão ao vivo.

As instâncias publicadas e a estrutura do gerador continuam "aprendíveis". Os autores discutem a possibilidade de regenerar o conjunto conforme os agentes evoluem, mas ainda não conseguiram testá-la. Eles próprios apresentam o ReplayRCA como um protocolo reutilizável, e não como um ranking: o ambiente e o código de avaliação estão publicados no GitHub. A conclusão prática para equipes que constroem supervisão de agentes: escolher o supervisor pela qualidade das análises posteriores é arriscado, e vale testá-lo em execuções ao vivo, com uma mistura de casos bem-sucedidos e fracassados.