CLEAT учит агентов на Qwen3-4B вовремя переспрашивать: до +13,2 п.п.

Исследователи опубликовали на arXiv работу CLEAT: фреймворк, который учит LLM-агента решать, когда нужно переспросить пользователя, а когда лучше действовать самому. На модели Qwen3-4B метод показал наивысший средний балл во всех десяти тестовых конфигурациях на четырёх бенчмарках. Над сильнейшим бейзлайном прирост достиг 13,2 процентного пункта на UserGym Travel и 6,5 п.п. по точности определения недоопределённости запроса на IN3.

Проблема: вопрос полезен не всегда

Агенты берут на себя всё более сложные задачи, но пользователи часто не проговаривают цели и ограничения. Человек просит спланировать поездку и не упоминает бюджет или нежелательные пересадки. Агент может угадать и ошибиться. Может засыпать пользователя вопросами и испортить опыт. Авторы формулируют задачу как интерактивное согласование намерений через уточнение.

Здесь есть тонкость. Уточнение имеет смысл, только если агент способен превратить ответ в лучшее решение. По мере обучения меняется то, как модель обращается с неполной информацией и использует новые ответы, так что один и тот же вопрос в разные моменты оказывается то полезным, то бесполезным. Статические правила вроде «спрашивай, если не хватает параметров» эту динамику не отслеживают.

Как устроен CLEAT

Название расшифровывается как CLarification through valuE-guided Agent co-Training. Фреймворк совместно обучает две части: контроллер ценности уточнений и политику, которая решает задачу. Обе учатся на общих исходах взаимодействия.

Центральное понятие работы — остаточная ценность запроса (residual query value). Она измеряет, сколько пользы для задачи даёт вопрос по сравнению с продолжением работы по текущей политике. Оценивают её парными прогонами из одной и той же истории диалога: в одном ветка с вопросом, в другом агент действует сразу. Разница возвратов и есть метка ценности.

Эти парные возвраты используются двояко. Контроллер учится предсказывать ценность уточнения. Политика учится выбирать полезные вопросы и опираться на ответы. Дальше контур замыкается: контроллер направляет сбор следующих прогонов, а результаты обновлённого агента дают свежие метки. Подсказки по уточнению подстраиваются под растущие способности модели.

Что показали эксперименты

Основные результаты в версии v1 препринта:

• базовая модель: Qwen3-4B;
• наивысший средний балл во всех 10 оценочных конфигурациях на 4 бенчмарках;
• до +13,2 п.п. над сильнейшим бейзлайном на UserGym Travel;
• +6,5 п.п. по точности суждения о недоопределённости на IN3;
• абляции: совместное обучение улучшает политику, даже если контроллер отключить на инференсе;
• адаптация подсказок к эволюции политики даёт дополнительный выигрыш.

Последний пункт важнее остальных для практики. Значит, контроллер работает не только как фильтр на этапе вывода, но и как учитель: он меняет сам способ, которым агент обращается с неполными данными.

Где это пригодится

Команды, которые строят агентов для бронирования, поддержки или кодинга, получают понятный принцип: измерять предельную пользу вопроса, а не навязывать фиксированный порог. Если ассистент спрашивает слишком часто, пользователи уходят. Если слишком редко, он ошибается молча. Парные прогоны дают способ откалибровать этот баланс на реальных исходах задач.

Ограничения тоже видны. Результаты получены на небольшой модели в 4 млрд параметров и пока не прошли рецензирование. Парные прогоны из одной истории подразумевают дополнительные вычисления на обучении. Как метод поведёт себя на крупных моделях и в реальных продуктах с живыми пользователями, абстракт не сообщает. Но сама схема, где ценность вопроса переоценивается вместе с ростом агента, выглядит применимой и вне этой конкретной реализации.