Проактивные агенты в HALO навязчивы: 61,20% отклонённых ответов — слишком рано или избыточно

Исследователи из Калифорнийского университета в Дэвисе и Университета Южной Калифорнии представили HALO — бенчмарк для проактивных агентов, то есть ассистентов, которые сами решают, нужно ли помогать, когда это делать и как далеко заходить, не дожидаясь прямой просьбы. Авторы привлекли 20 экспертов, которые вручную оценили 8000 ответов 10 моделей. Главный вывод неприятный для всей индустрии: даже лучшая модель выдаёт приемлемую помощь в 72,88% случаев, а основная причина провалов — избыточная инициативность.

Как устроен HALO и что в нём проверяют

Бенчмарк описывает четыре типа потребностей. Зависимость (Dependency) — это недостающее условие для будущего дела. Блокировка (Blockage) — ситуация, когда текущая деятельность не может продолжаться. Риск (Risk) — возможный неблагоприятный исход, который ещё не наступил. Возможность (Opportunity) — необязательная выгода, отсутствие которой ничего не ломает.

Всё это разложено по 10 областям повседневности: учёба, работа, дом, семья и уход за близкими, здоровье, поездки, личные финансы, жизнь сообщества, социальная и культурная жизнь, хобби и спорт. В каждой области по пять персонажей, в сумме получается 50 личных сред, а в каждой среде по восемь сценариев — всего 400.

Среда HALO-Arena включает почту, календарь, чат, контакты и кошелёк, а за ними стоят базы SQLite и текстовые файлы. Агент получает 29 команд для поиска информации и 19 команд для действий. Перед ответом он должен найти доказательства в структурированных или неструктурированных данных и только потом решить, оправдана ли помощь. Пример из статьи: запись о поездке в календаре может подтолкнуть агента проверить базу на нужные вещи и файл с разрешением на покупку. Эти факты оправдывают напоминание, но не саму покупку.

Ответы делятся на четыре уровня: L0 — наблюдение без вмешательства, L1 — привлечение внимания пользователя, L2 — подготовка действия без внешних обязательств, L3 — исполнение, меняющее обязательства или дающее внешний эффект. Высокий уровень не означает лучшую помощь: при уместной сдержанности принимается и L0.

Сценарии строились с помощью GPT5.6-Sol и прошли проверку валидатором, ревьюером-моделью и двумя людьми-аудиторами; спорные случаи решал третий. Для разметки взяли 2160 контрольных точек, по 800 ответов на модель. Эксперт сначала решает, принят ли ответ, а для отклонённых указывает, что не так: слишком рано, слишком поздно, недостаточно, чрезмерно либо другие проблемы вроде отсутствия опоры на данные.

Результаты: разброс большой, лидер без запаса

Приемлемость колеблется от 30,38% у GPT-OSS-20B до 72,88% у Gemini3.8-Flash — разрыв 42,50 пункта. Среди открытых моделей лидирует DeepSeekV4-Pro с 56,63%. Закрытые модели в среднем дают 63,08%, открытые — 47,55%, но группы пересекаются: DeepSeekV4-Pro обошла и Gemini3.1-Pro, и GPT5.6-Luna.

Чаще всего модели выбирают L1, то есть просто обращают внимание пользователя: 69,20% всех ответов. Подготовка (L2) редка — 4,18%, исполнение (L3) — 16,09%. Доля исполнения у обеих групп почти одинакова, около 16,1%, так что разницу в качестве она не объясняет. Закрытые модели примерно вдвое чаще выбирают бездействие.

Заметна разница в поиске данных. Открытые модели в среднем делают 1,21 раунда поиска на ответ против 2,55 у закрытых, то есть примерно на 53% меньше, хотя расход токенов на рассуждение сопоставим: 4,77 тыс. против 5,53 тыс. При этом Claude-Opus5.5, занявшая второе место среди закрытых, тратит около 23% токенов рассуждения лидера, так что сильный результат не требует максимального расхода.

Главная проблема — перегиб, а не пассивность

Из 3575 отклонённых ответов в 2188 (61,20%) была либо слишком ранняя реакция, либо чрезмерная интенсивность. Доля по моделям — от 44,23% до 79,66%, и у шести из десяти она выше половины. Слишком раннее вмешательство встречается почти втрое чаще запоздалого, а чрезмерное — примерно вдвое чаще недостаточного. Картина повторяется во всех четырёх типах потребностей и во всех десяти областях. У двух лучших моделей одновременно самые низкие показатели преждевременности и избыточности.

Сдержанность тоже вносит вклад: Qwen3.8-27B ни разу не ошиблась бездействием, но выбрала L0 лишь в 0,38% случаев и набрала только 55,13%. Среди напоминаний доступ к содержимому локальных данных связан с более высокой приемлемостью и меньшей долей «недостаточных» ответов. Если время выбрано верно, напоминания чаще оказываются недостаточными, а исполнение — чрезмерным.

Ограничения

Данные касаются выборочных сценариев и записанных настроек вывода, а подсчёт токенов зависит от правил учёта у провайдеров. Сценарии сгенерированы моделью, хотя и проверены людьми, а каждого сценария придерживается один и тот же аннотатор. Для разработчиков вывод практический: при проектировании проактивных ассистентов стоит измерять не только срабатывание, но и момент, объём и полномочия вмешательства, а также заставлять агента сначала искать подтверждения в данных пользователя.