AgentOrch: el plan de IA trazado por adelantado ya solo pierde por 8,5 puntos frente al paso a paso

Cuando a un agente de IA se le encomienda una tarea real

Cuando a un agente de IA se le encomienda una tarea real —por ejemplo, tomar un ticket de Jira, enriquecerlo con datos de Salesforce y Google Sheets, y enviar un resumen a Slack—, tiene dos formas fundamentalmente distintas de abordarla. La primera: avanzar paso a paso, observando el resultado tras cada acción y decidiendo qué hacer a continuación. La segunda: elaborar de una sola vez un plan completo de todas las acciones por adelantado, antes incluso de ver los datos de entrada concretos, y luego ejecutarlo de principio a fin sin la intervención del modelo.

El equipo detrás del proyecto AgentOrch (su repositorio está disponible en GitHub bajo la organización workato-devs) decidió comparar honestamente ambos enfoques en las mismas tareas, las mismas herramientas y los mismos criterios de evaluación —algo que antes rara vez se hacía en condiciones idénticas, lo que dificultaba confiar en las conclusiones.

La diferencia de costos resultó enorme: el modo paso a paso realiza, en promedio, 23,2 veces más llamadas al modelo y genera 3,64 veces más tokens que el modo de "plan completo por adelantado". La pregunta era cuánto sufría la calidad a cambio.

Lo que mostró la comparación entre modelos

Los autores construyeron un benchmark con 650 procedimientos operativos estándar (SOP) empresariales reales y 3.220 variantes de ejecución con distintas entradas y condiciones —ramificaciones, bucles, errores. Cada SOP cuenta con un flujo de trabajo de referencia registrado a través de conexiones reales a servicios como Slack, Jira, Salesforce, Google Sheets, Google Drive, Snowflake y Workato —64 tipos de herramientas en total.

La conclusión principal: el modo paso a paso es más preciso que el plan por adelantado en todos los modelos evaluados, pero el tamaño de la brecha varía enormemente de una generación a otra:

• En GPT-3.5 Turbo, la brecha de precisión fue de 40,67 puntos porcentuales.
• En GPT-5.6 Sol Thinking, la brecha se redujo a 15,12 puntos.
• En Claude Opus 5 Thinking, bajó a 8,53 puntos, casi un 79% menos que en GPT-3.5 Turbo.

Sin embargo, simplemente aumentar el tamaño del modelo no garantiza nada por sí mismo. En la familia Qwen2.5, la precisión del plan por adelantado cayó del 16,18% con 32.

000 millones de parámetros al 9,91% con 72.000 millones, y la brecha con el modo paso a paso primero se redujo de 36,33 a 27,87 puntos (entre 0,5B y 7B parámetros) para luego volver a subir a 36,66 puntos con 72B. En Gemma-3, la brecha aumentó con el tamaño del modelo —de 26,6 puntos con 4B a 32,52 puntos con 27B.

Activar el "modo de razonamiento" (thinking) también resulta impredecible: en cuatro de los ocho modelos la precisión del plan por adelantado mejoró, en los otros cuatro empeoró, y la brecha con el modo paso a paso solo se redujo en tres de los ocho modelos.

Tres formas de acercar el plan por adelantado al nivel del modo paso a paso

Los autores probaron tres métodos, cada uno aprovechando más información que el anterior:

• Elaboración del plan paso a paso sin ejecución. El modelo no construye todo el flujo de trabajo de una sola vez, sino que añade pasos uno por uno a través de un editor, y tras cada paso un validador lo acepta o devuelve un error, sin acceso a datos de entrada reales ni a resultados de ejecución. Esto elevó la precisión en 9,98 puntos en promedio.
• Revisión del plan a partir de las propias ejecuciones previas. El modelo recibe su plan junto con un informe de cómo funcionó en la práctica (qué herramientas se invocaron, con qué argumentos, qué errores ocurrieron, cuál fue el resultado final) y reescribe el plan, pero esto ocurre una sola vez, sin llamadas adicionales al modelo durante la propia ejecución. El método mejoró la precisión en los ocho modelos evaluados en 6,18 puntos en promedio, y en 6,13 puntos en variantes de tareas que no se usaron para la revisión.
• Ajuste fino dirigido. Los autores reunieron un conjunto independiente de 3.000 escenarios de referencia (sin superposición con el benchmark principal) y ajustaron cinco modelos para generar un flujo de trabajo completo a partir de una descripción textual de la tarea, mediante ajuste fino supervisado (SFT) y aprendizaje por refuerzo (con el algoritmo GRPO). Para cada modelo se conservó el mejor de los dos resultados. En promedio, la precisión mejoró en 12,18 puntos, con un rango de 6,84 a 19,88 puntos según el modelo.

Qué significa esto en la práctica

Para los equipos que construyen agentes empresariales, la conclusión práctica es clara: si la tarea permite elaborar un plan por adelantado —es decir, no exige reaccionar a imprevistos en tiempo real—, un plan preconstruido resulta 23 veces más económico en llamadas al modelo y tokens, y con los modelos más recientes, como Claude Opus 5 Thinking o GPT-5.6 Sol Thinking, la diferencia de precisión frente al enfoque paso a paso ya no es catastrófica, situándose entre 8 y 15 puntos porcentuales. Pero el modo paso a paso, con verificación del resultado en cada etapa, sigue siendo más confiable en todos los casos probados, y simplemente usar un modelo más grande o activar el razonamiento no garantiza ninguna mejora.

La forma más económica y reproducible de acercar el plan por adelantado es dejar que el modelo revise su propio plan una vez, a partir de ejecuciones reales, sin recurrir a él constantemente durante la ejecución.