AgentOrch compara dois tipos de agentes: a diferença entre Global e Step-by-Step encolheu 79%

Agentes corporativos costumam trabalhar em ciclo: executam uma ação, observam o resultado, fazem uma nova chamada ao LLM e partem para a ação seguinte. É um método confiável, mas caro, já que o modelo é acionado a cada passo. A alternativa é a orquestração global: o modelo constrói uma única vez um workflow executável completo, e o sistema o roda sem voltar ao LLM. Pesquisadores liderados por Zijie Liu (nove autores) lançaram o benchmark AgentOrch e mediram quanto a segunda abordagem fica atrás da primeira. Há defasagem em todos os modelos avaliados, mas, dos primeiros modelos ao mais forte da atualidade, ela diminuiu cerca de 79%.

O que exatamente foi comparado

O AgentOrch se baseia em 650 procedimentos operacionais padrão (SOPs) corporativos e 3220 variantes de runtime. Cada variante representa o mesmo procedimento diante de condições diferentes durante a execução. Para os dois modos, os autores fixaram as mesmas ferramentas, os mesmos ambientes e a mesma metodologia de avaliação. Por isso, a diferença de precisão não pode ser atribuída ao fato de um dos agentes ter recebido um conjunto de APIs mais conveniente.

O principal resultado: a interação passo a passo (Step-by-Step) continua mais precisa em todos os modelos testados. A razão é fácil de entender. Um agente que enxerga o resultado de cada ação pode corrigir a rota quando o sistema devolve uma resposta inesperada ou quando os dados não batem com o esperado. O workflow global não tem essa possibilidade, e por isso só percebe um erro do plano depois da execução.

Três caminhos para reduzir a diferença

Os autores identificaram três frentes, e cada uma delas melhorou a orquestração global:

• Construção incremental do workflow. Em vez de gerar o plano inteiro de uma só vez, ele é montado por partes. Sem feedback da execução, isso rende em média +9,98 pontos percentuais de precisão no Global.
• Revisão de workflows prontos com feedback da execução. O plano é primeiro executado e depois corrigido com base nos resultados. O método melhorou todos os modelos avaliados, incluindo +6,13 p.p. em variantes de runtime reservadas (held-out), que o modelo não viu durante o refinamento.
• Treinamento direcionado em workflows completos. Os modelos passam por ajuste fino justamente em planos executáveis inteiros. Resultado: em média +12,18 p.p. nos cinco modelos treinados.

Os três caminhos são de natureza diferente. O primeiro muda a forma de gerar o plano, o segundo acrescenta um ciclo de verificação e o terceiro altera os próprios pesos do modelo. Os autores apresentam os números separadamente para cada um, e não como resultado de uma combinação. Por isso, o artigo não permite concluir que as abordagens se somam, muito menos dizer a que custo isso ocorre.

Por que os 79% importam mais do que a diferença absoluta

A redução de 79% na defasagem indica uma trajetória. Cada nova geração de modelos planeja melhor sequências longas de ações, e isso melhora o Global quase de graça. O modo passo a passo ganha menos com o avanço dos modelos, porque já compensava um planejamento fraco com verificações constantes.

Ainda assim, a diferença não foi eliminada. Os autores dizem isso de forma direta: o Global oferece um "caminho promissor" para agentes com maior precisão e menos chamadas ao LLM, mas ainda não se iguala ao modo passo a passo.

Como usar isso na prática

Para equipes que constroem agentes para processos internos (aprovações, tratamento de solicitações, operações regulamentadas), os resultados sugerem algumas decisões.

• Se o processo é repetitivo e bem descrito em um SOP, vale testar o workflow global: ele reduz o custo de inferência e diminui o número de pontos em que o LLM pode errar ou atrasar a execução.
• Se o ambiente é instável e as respostas dos sistemas costumam fugir do padrão, o modo passo a passo continua mais seguro.
• Antes de escolher a arquitetura, vale testar a revisão do workflow com feedback da execução. Ela melhorou todos os modelos avaliados e funciona até em variantes imprevistas.
• Se existem logs de execuções bem-sucedidas, é possível transformá-los em dados de treinamento compostos por workflows completos. Em cinco modelos, essa abordagem trouxe o maior ganho médio: +12,18 p.p.

Para o mercado de agentes corporativos, a conclusão é simples. A disputa passa pela qualidade do modelo, mas pesa cada vez mais quantas vezes ele precisa ser chamado em um único processo de negócio. O AgentOrch oferece uma forma de medir essa comparação em condições idênticas.