AgentOrch: plano de IA feito com antecedência agora perde por apenas 8,5 pontos para a execução passo a passo

Quando um agente de IA recebe uma tarefa real

Quando um agente de IA recebe uma tarefa real — digamos, pegar um chamado no Jira, enriquecê-lo com dados do Salesforce e do Google Sheets e enviar um resumo ao Slack —, ele tem duas formas fundamentalmente diferentes de agir. A primeira: avançar passo a passo, observando o resultado depois de cada ação e decidindo o que fazer a seguir. A segunda: elaborar o plano completo de todas as ações de uma só vez, de antemão, antes mesmo de ver os dados de entrada reais, e depois simplesmente executá-lo do início ao fim sem a participação do modelo.

A equipe por trás do projeto AgentOrch (seu repositório está disponível no GitHub, sob a organização workato-devs) resolveu comparar honestamente essas duas abordagens nas mesmas tarefas, com as mesmas ferramentas e os mesmos critérios de avaliação — algo que raramente era feito em condições idênticas antes, o que tornava as conclusões difíceis de confiar.

A diferença de custo revelou-se enorme: o modo passo a passo faz, em média, 23,2 vezes mais chamadas ao modelo e gera 3,64 vezes mais tokens do que o modo "plano completo de antemão". A questão era saber o quanto a qualidade sofria em troca disso.

O que a comparação entre modelos revelou

Os autores construíram um benchmark com 650 procedimentos operacionais padrão (SOPs) corporativos reais e 3.220 variantes de execução com diferentes entradas e condições — ramificações, loops, erros. Cada SOP tem um fluxo de trabalho de referência registrado por meio de conexões reais com serviços como Slack, Jira, Salesforce, Google Sheets, Google Drive, Snowflake e Workato — 64 tipos de ferramentas no total.

A principal conclusão: o modo passo a passo é mais preciso do que o plano antecipado em todos os modelos testados, mas o tamanho da diferença varia bastante entre gerações:

• No GPT-3.5 Turbo, a diferença de precisão foi de 40,67 pontos percentuais.
• No GPT-5.6 Sol Thinking, a diferença caiu para 15,12 pontos.
• No Claude Opus 5 Thinking, caiu para 8,53 pontos — quase 79% menor do que no GPT-3.5 Turbo.

Ainda assim, simplesmente aumentar o tamanho do modelo não garante nada por si só. Na família Qwen2.5, a precisão do plano antecipado caiu de 16,18% com 32 bilhões de parâmetros para 9,91% com 72 bilhões, e a diferença em relação ao modo passo a passo primeiro diminuiu de 36,33 para 27,87 pontos (entre 0,5B e 7B parâmetros) antes de voltar a subir para 36,66 pontos com 72B.

No Gemma-3, a diferença aumentou conforme o modelo crescia — de 26,6 pontos com 4B para 32,52 pontos com 27B. Ativar o "modo de raciocínio" (thinking) também se mostra imprevisível: em quatro dos oito modelos a precisão do plano antecipado melhorou, nos outros quatro caiu, e a diferença em relação ao modo passo a passo só diminuiu em três dos oito modelos.

Três formas de aproximar o plano antecipado do nível do modo passo a passo

Os autores testaram três métodos, cada um aproveitando mais informação do que o anterior:

• Elaboração do plano passo a passo sem execução. Em vez de gerar todo o fluxo de trabalho de uma vez, o modelo adiciona etapas uma a uma por meio de um editor, e depois de cada etapa um validador a aceita ou retorna um erro — sem acesso a dados de entrada reais nem a resultados de execução. Isso elevou a precisão em 9,98 pontos, em média.
• Revisão do plano com base nas próprias execuções anteriores. O modelo recebe seu plano junto com um relatório de como ele se comportou na prática (quais ferramentas foram chamadas, com quais argumentos, quais erros ocorreram, qual foi o resultado final) e reescreve o plano — mas isso acontece uma única vez, sem chamadas adicionais ao modelo durante a própria execução. O método melhorou a precisão em todos os oito modelos testados em 6,18 pontos, em média, e em 6,13 pontos em variantes de tarefas que não foram usadas na revisão.
• Fine-tuning direcionado. Os autores reuniram um conjunto separado de 3.000 cenários de referência (sem sobreposição com o benchmark principal) e fizeram o fine-tuning de cinco modelos para gerar um fluxo de trabalho completo a partir de uma descrição textual da tarefa, usando tanto fine-tuning supervisionado (SFT) quanto aprendizado por reforço (via algoritmo GRPO). Para cada modelo, foi mantido o melhor dos dois resultados. Em média, a precisão melhorou em 12,18 pontos, variando de 6,84 a 19,88 pontos dependendo do modelo.

O que isso significa na prática

Para equipes que constroem agentes corporativos, a conclusão prática é direta: se a tarefa permite planejamento antecipado — ou seja, não exige reagir a imprevistos em tempo real —, um plano pré-construído custa 23 vezes menos em chamadas ao modelo e tokens, e com os modelos mais recentes, como o Claude Opus 5 Thinking ou o GPT-5.6 Sol Thinking, a diferença de precisão em relação à abordagem passo a passo já não é catastrófica, ficando em torno de 8 a 15 pontos percentuais. Mas o modo passo a passo, com verificação do resultado a cada etapa, continua sendo mais confiável em todos os casos testados, e simplesmente usar um modelo maior ou ativar o raciocínio não garante melhoria alguma.

A forma mais barata e reproduzível de aproximar o plano antecipado é deixar o modelo revisar seu próprio plano uma vez, com base em execuções reais, em vez de recorrer a ele constantemente durante a execução.