AgentOrch compara dos tipos de agentes: la brecha entre Global y Step-by-Step se ha reducido un 79%

Los agentes corporativos suelen trabajar en ciclo: acción, observación del resultado, nueva llamada al LLM, siguiente acción. Es un método fiable, pero caro, porque el modelo se ejecuta en cada paso. La alternativa se llama orquestación global: el modelo construye una sola vez un workflow ejecutable completo y, a partir de ahí, el sistema lo ejecuta sin recurrir al LLM. Un equipo de investigadores dirigido por Zijie Liu (nueve autores) ha publicado el benchmark AgentOrch y ha medido cuánto se queda atrás el segundo enfoque respecto al primero. El retraso existe en todos los modelos evaluados, pero entre los primeros modelos y el más potente de la actualidad se ha reducido en torno a un 79%.

Qué se comparó exactamente

AgentOrch se basa en 650 procedimientos operativos estándar (SOP) corporativos y 3220 variantes de runtime. Una variante significa que un mismo procedimiento se enfrenta a condiciones distintas durante la ejecución. Para ambos modos, los autores fijaron las mismas herramientas, los mismos entornos y la misma metodología de evaluación. Por eso la diferencia de precisión no puede atribuirse a que un agente dispusiera de un conjunto de API más cómodo.

El resultado principal es este: la interacción paso a paso (Step-by-Step) sigue siendo más precisa en todos los modelos probados. El motivo es claro. Un agente que ve el resultado de cada acción puede corregir el rumbo cuando el sistema devuelve una respuesta inesperada o los datos no coinciden con lo previsto. Un workflow global carece de esa posibilidad, así que solo detecta un error del plan una vez ejecutado.

Tres formas de reducir la brecha

Los autores identificaron tres vías, cada una de las cuales mejoró la orquestación global:

• Construcción incremental del workflow. En lugar de generar todo el plan de una vez, se ensambla por partes. Sin retroalimentación de la ejecución, aporta de media +9,98 puntos porcentuales de precisión en Global.
• Revisión de workflows ya generados con retroalimentación de la ejecución. Primero se ejecuta el plan y después se corrige según los resultados. El método mejoró todos los modelos evaluados, incluidos +6,13 p. p. en variantes de runtime reservadas que el modelo no había visto durante el refinamiento.
• Entrenamiento específico con workflows completos. Los modelos se ajustan precisamente con planes ejecutables enteros. Resultado: de media +12,18 p. p. en los cinco modelos entrenados.

Estas tres vías son de naturaleza distinta. La primera cambia la forma de generar, la segunda añade un ciclo de verificación y la tercera modifica los propios pesos del modelo. Los autores ofrecen las cifras por separado para cada una, no como resultado de una combinación. Por eso, del artículo no se puede concluir que los enfoques se sumen, y menos aún determinar a qué coste.

Por qué el 79% importa más que la brecha absoluta

La reducción del retraso en un 79% habla de una trayectoria. Cada nueva generación de modelos planifica mejor las secuencias largas de acciones, y eso mejora Global casi sin coste adicional. El modo paso a paso se beneficia menos del progreso de los modelos, porque ya antes compensaba una planificación débil con comprobaciones constantes.

Aun así, la brecha no está cerrada. Los autores lo dicen sin rodeos: Global ofrece «un camino prometedor» hacia agentes más precisos con menos llamadas al LLM, pero todavía no iguala al modo paso a paso.

Cómo aplicarlo en la práctica

Para los equipos que construyen agentes para procesos internos (aprobaciones, tramitación de solicitudes, operaciones reguladas), los resultados sugieren varias decisiones.

• Si un proceso se repite y está bien descrito en un SOP, tiene sentido probar un workflow global: reduce el coste de inferencia y disminuye los puntos en los que el LLM puede equivocarse o retrasarse.
• Si el entorno es inestable y las respuestas de los sistemas se desvían a menudo de la norma, el modo paso a paso sigue siendo más seguro.
• Antes de elegir arquitectura, conviene probar la revisión del workflow con retroalimentación. Mejoró todos los modelos evaluados y funciona incluso con variantes imprevistas.
• Si hay registros de ejecuciones exitosas, pueden convertirse en datos de entrenamiento formados por workflows completos. En cinco modelos, esto dio el mayor incremento medio: +12,18 p. p.

Para el mercado de agentes corporativos, la conclusión es sencilla. La competencia no se limita a la calidad del modelo. Cada vez pesa más cuántas veces hay que llamar al modelo en un mismo proceso de negocio. AgentOrch ofrece una forma de medir esa comparación en condiciones idénticas.