EvoSyn: мультиагентный синтез данных подтянул успех задач на 13,3 пункта

Команда авторов препринта arXiv:2610.12593 представила EvoSyn, мультиагентную систему для синтеза обучающих данных интерактивным LLM-агентам. По заявленным результатам, на бенчмарках τ²-Bench и CAR-Bench она повышает средний успех выполнения задач на 13,3 пункта по сравнению с сильнейшим из протестированных синтетических бейзлайнов. Кроме того, система находит управляемые факторы взаимодействия, которые остаются незамеченными, если не учитывать обратную связь от обучаемого агента.

Проблема: ошибки видны, решения нет

Дообучение агентов всё сильнее зависит от синтетического опыта. Для этого мало получить траектории, которые исполняются и проходят проверку. Нужно, чтобы они давали пользу именно текущему агенту: закрывали его слабые места, а не повторяли то, что он уже умеет.

Современные методы учитывают обратную связь среды, валидацию данных и провалы обучаемой модели. Авторы называют оставшуюся проблему разрывом между обратной связью и решением (feedback-to-decision gap). Допустим, агент ошибается в определённом классе сценариев. Из самого факта ошибки не следует, как менять следующую порцию синтетических данных. Не ясно и другое: умеет ли текущий генератор вообще порождать такие сценарии, или нужной оси вариативности в его пространстве нет.

Как устроен EvoSyn

Центральный объект системы — изменяемое состояние синтеза. Оно фиксирует, какие факторы взаимодействия можно целенаправленно генерировать и куда стоит направлять усилия. Это не статичный набор промптов, а структура, которую пересматривают по итогам каждого цикла обучения.

За пересмотр отвечает мультиагентная система с разделением ролей. Одни агенты переводят обратную связь ученика в правки синтеза. Designer распределяет направления генерации. Planner превращает их в исполнимый опыт, то есть конкретные траектории.

Процесс идёт в двух режимах:

• адаптация внутри пространства: смещение генерации к слабым и недопокрытым областям;
• расширение пространства: новые факторы, обнаруженные по ходу, становятся явными управляющими параметрами генерации.

Второй режим решает проблему, которую фиксированные шаблоны не видят. Если нужной оси вариативности нет в описании, сколько ни перераспределяй вес, нужные сценарии не появятся.

Что показали эксперименты

В абстракте приведены такие результаты:

• +13,3 пункта к среднему успеху задач относительно сильнейшего синтетического бейзлайна;
• тестирование на τ²-Bench и CAR-Bench, бенчмарках интерактивных агентов;
• более высокое качество и структурно более широкое покрытие синтетического опыта;
• обнаружение управляемых факторов, которые пропущены без обратной связи ученика.

Ограничения тоже очевидны. В тексте абстракта нет абсолютных значений метрик, размеров базовых моделей и стоимости генерации. Работа остаётся препринтом без рецензии, а воспроизводимость и вклад каждого компонента (Designer, Planner, расширение пространства) предстоит проверять по полному тексту.

Где это пригодится

Для команд, которые строят агентов с вызовом инструментов и многошаговыми диалогами, идея понятна и переносима. Данные нужно синтезировать по результатам оценки конкретной модели, а не «вообще». Практический минимум выглядит так: хранить явное описание факторов, по которым вы генерируете сценарии, и регулярно сверять его с логами провалов агента. Если провалы кластеризуются вокруг параметра, которого нет в генераторе, это сигнал расширять пространство, а не просто наращивать объём.

Прежде чем тиражировать подход, стоит проверить три вещи. Насколько прирост сохраняется на ваших доменах, а не только на двух бенчмарках? Сколько стоит дополнительный контур из нескольких LLM-агентов по сравнению с обычным синтезом? Не переобучается ли агент под тесты? Ответы будут в деталях экспериментов, и именно их стоит смотреть в первую очередь.