SynAct учит LLM-агентов просить подсказки там, где они меняют исход: +11,7 п.п.

Команда авторов SynAct предлагает по-новому распределять экспертную обратную связь для LLM-агентов: не по задачам, а по отдельным решениям внутри траектории. На четырёх агентных бенчмарках и четырёх моделях из трёх семейств метод улучшил точность на отложенной выборке во всех 16 проверенных конфигурациях, в среднем на 11,7 процентного пункта. Тот же сигнал пригодился и для маршрутизации на этапе инференса: SynAct обошёл по результату бюджетно сопоставимые каскадные, неопределённостные и «экспертно-судейские» роутеры в 15 из 16 случаев.

Две причины, по которым агент ошибается

Исходная идея работы проста. Агент, который выполняет многошаговый рабочий процесс, ломается по двум разным причинам. Первая — случайные промахи: ещё одна попытка их исправляет. Вторая — пробелы в знаниях: сколько ни повторяй, агент будет делать то же неверное действие. Для второго типа нужен эксперт, но его время ограничено. Поэтому, как формулируют авторы, вопрос не в том, просить ли обратную связь, а в том, где она способна изменить исход.

Существующие подходы, по описанию авторов, упираются в одну из двух проблем. Одни обходятся без экспертов, и агент закрепляет собственные ошибки. Другие раздают обратную связь на уровне целой задачи и не выясняют, какие именно решения что-то определяли.

Как SynAct выбирает, где спрашивать

Фреймворк считает внимание эксперта главным ограничением и работает на уровне отдельных решений. Он прогоняет задачу несколько раз и для каждого решения оценивает взаимную информацию между выбранным действием и итоговым исходом. Если от выбора действия исход не зависит, информация нулевая, и спрашивать там нечего. Решения с самой высокой оценкой уходят эксперту. Его поправки затем превращаются в переносимые правила, которые агент применяет в работе уже без доступа к эксперту.

Есть и теоретическая часть. При k прогонах и не менее чем m наблюдениях на действие решения с постоянным исходом дают нулевую взаимную информацию, а решения, разделяющие исходы, дают не менее H2(m/k) бит, где H2 — бинарная энтропия. Поэтому любой порог t в интервале (0, H2(m/k)) разделяет эти два класса точно. Для иллюстрации: при k = 8 и m = 2 нижняя граница составляет около 0,81 бита (расчёт наш, в абстракте такого примера нет).

Отсюда же объяснение, почему отбор по успешности слеп, когда проваливаются все прогоны. Успех тогда константа, хотя неудачные запуски приходят к разным результатам. Взаимная информация эти различия видит.

Ключевые цифры из работы:

• 4 агентных бенчмарка, 4 модели из 3 семейств, 16 оцениваемых конфигураций;
• рост точности на отложенной выборке во всех 16, в среднем +11,7 п.п.;
• маршрутизация на инференсе: победа над бюджетно сопоставимыми роутерами в 15 из 16 случаев;
• одна целевая коррекция даёт больше, чем семь дополнительных нецелевых повторов.

Где это пригодится

Последний пункт важен для практики. Большинство команд, которые разворачивают агентов, борются с ошибками перебором: больше попыток, больше сэмплов, голосование. Результаты SynAct говорят, что при пробелах в знаниях это трата вычислений впустую, а одно точечное исправление окупается лучше.

Практический сценарий выглядит так. Нужно прогнать задачи несколько раз, посчитать для шагов связь действия с исходом и отдать разметчику или доменному эксперту лишь верхушку списка. Затем исправления собираются в набор правил для агента. Экспертные часы идут на ограниченное число решений, а выигрыш остаётся и после того, как эксперт уходит.

Ограничения тоже есть. Это препринт на arXiv, результаты пока не прошли рецензирование, а в абстракте нет данных о стоимости экспертной разметки и о том, насколько правила переносятся за пределы четырёх бенчмарков. Но сама постановка, где внимание эксперта признано дефицитным ресурсом, выглядит разумной основой для агентных систем в продакшене.