AgentOrch: заранее составленный план ИИ-агента уступает пошаговому всего 8,5 п.п.

Когда ИИ-агенту поручают настоящую рабочую задачу — скажем, забрать тикет из Jira, обогатить его данными из Salesforce и Google Sheets и отправить сводку в Slack — у него есть два принципиально разных способа действовать. Первый: двигаться шаг за шагом, после каждого действия смотреть на результат и решать, что делать дальше. Второй: один раз составить полный план всех действий заранее, ещё не видя конкретных входных данных, а потом просто выполнить его от начала до конца без участия модели. Авторы проекта AgentOrch (репозиторий доступен на GitHub у организации workato-devs) решили честно сравнить эти два подхода на одинаковых задачах, одинаковых инструментах и одинаковых критериях оценки — раньше такие сравнения обычно делали в разных условиях, и выводы было сложно доверять.

Разница в затратах оказалась огромной: пошаговый режим в среднем делает в 23,2 раза больше обращений к модели и генерирует в 3,64 раза больше токенов, чем режим «план целиком». Вопрос был в том, насколько при этом страдает качество.

Что показало сравнение моделей

Авторы собрали бенчмарк из 650 реальных корпоративных регламентов (SOP) и 3220 вариантов их выполнения с разными входными данными и условиями — ветвлениями, циклами, ошибками. Для каждого регламента есть эталонный рабочий процесс, записанный через настоящие подключения к таким сервисам, как Slack, Jira, Salesforce, Google Sheets, Google Drive, Snowflake и Workato — всего 64 типа инструментов.

Главный вывод: пошаговый режим точнее заранее составленного плана для всех проверенных моделей, но разрыв сильно меняется от поколения к поколению:

• У GPT-3.5 Turbo разрыв в точности составлял 40,67 процентных пункта.
• У GPT-5.6 Sol Thinking разрыв сократился до 15,12 п.п.
• У Claude Opus 5 Thinking — до 8,53 п.п., то есть почти на 79% меньше, чем у GPT-3.5 Turbo.

При этом простое увеличение размера модели само по себе ничего не гарантирует. У семейства Qwen2.5 точность плана заранее упала с 16,18% при 32 млрдах параметров до 9,91% при 72 млрдах, а разрыв с пошаговым режимом сначала снизился с 36,33 до 27,87 п.п. (от 0,5B до 7B параметров), а потом снова выросл до 36,66 п.п. на 72B. У Gemma-3 разрыв увеличивался с ростом модели — с 26,6 п.п. при 4B до 32,52 п.п. при 27B. Включение «режима рассуждения» (thinking) тоже работает непредсказуемо: у четырёх из восьми моделей точность плана заранее росла, у четырёх — падала, а разрыв с пошаговым режимом сокращался только у трёх моделей из восьми.

Три способа подтянуть план заранее до уровня пошагового режима

Авторы проверили три метода, каждый использует больше информации, чем предыдущий:

• Пошаговое составление плана без выполнения. Модель строит рабочий процесс не целиком сразу, а добавляет шаги один за другим через редактор, и после каждого шага валидатор либо принимает его, либо возвращает ошибку — без доступа к реальным входным данным и результатам выполнения. Это подняло точность в среднем на 9,98 п.п.
• Правка плана по следам собственных прогонов. Модель получает свой план плюс отчёт о том, как он сработал на практике (какие инструменты вызывались, какие были аргументы, ошибки, итоговый результат), и переписывает план — но это происходит один раз, без дополнительных вызовов модели во время самого выполнения. Метод поднял точность у всех восьми проверенных моделей в среднем на 6,18 п.п., а на вариантах задач, которые не использовались для правки, — на 6,13 п.п.
• Целевое дообучение. Авторы собрали отдельный набор из 3000 эталонных сценариев (не пересекающийся с основным бенчмарком) и дообучили пять моделей генерировать полный рабочий процесс по текстовому описанию задачи — методом SFT (обучение с учителем) и RL (обучение с подкреплением через алгоритм GRPO). Для каждой модели выбирали лучший из двух результатов. В среднем точность выросла на 12,18 п.п. (от 6,84 до 19,88 п.п. в зависимости от модели).

Что это значит на практике

Для команд, строящих корпоративных агентов, вывод прагматичный: если задача допускает составление плана заранее (без нужды реагировать на неожиданности в реальном времени), заранее построенный план в 23 раза дешевле по вызовам модели и токенам — и с новейшими моделями типа Claude Opus 5 Thinking или GPT-5.6 Sol Thinking разница в точности с пошаговым подходом уже не катастрофична, около 8–15 процентных пунктов. Но пошаговый режим с проверкой результата на каждом шаге всё ещё остаётся надёжнее во всех протестированных случаях, и просто взять модель побольше или включить рассуждение — не гарантия улучшения. Самый дешёвый и воспроизводимый способ подтянуть план заранее — дать модели один раз пересмотреть свой план по итогам реальных прогонов, без постоянных обращений к ней во время выполнения.