В бенчмарке HALO 61,20% отклонённых ответов ИИ-агентов — слишком ранняя или навязчивая помощь

Проактивный агент должен сам решить, стоит ли помогать, когда это делать и насколько далеко зайти, причём без явной просьбы. Исследователи из Калифорнийского университета в Дэвисе и Университета Южной Калифорнии предложили для такой проверки бенчмарк HALO. Его главный вывод: чаще всего агенты ошибаются не из-за бездействия, а из-за избыточной инициативы. Среди отклонённых людьми ответов 61,20% (2188 из 3575) страдали от слишком раннего вмешательства или чрезмерной силы действий.

Как устроен HALO и кто размечал ответы

Сценарии охватывают четыре типа потребностей: зависимость (не хватает условия для будущего дела), блокировку (текущее занятие нельзя продолжить), риск (возможная неприятность ещё не случилась) и возможность (полезный, но необязательный шаг). Они разнесены по 10 бытовым областям: от учёбы и работы до семьи, здоровья, путешествий, финансов и хобби. В каждой области по пять персонажей, всего 50 личных сред. В каждой среде по восемь сценариев, итого 400.

Среда состоит из почты, календаря, чата, контактов и кошелька, а доказательства лежат в базах SQLite и текстовых файлах. У агента 29 команд для поиска данных и 19 команд для действий. На каждой контрольной точке он видит часть цепочки событий, может в несколько раундов собрать данные и затем выдать один исполнимый ответ или отказаться от действий. Действия делятся на уровни: L0 — наблюдение, L1 — привлечение внимания, L2 — подготовка без внешних обязательств, L3 — исполнение с реальными последствиями. Более высокий уровень не означает лучшую помощь. Сценарии создавала GPT5.6-Sol, а затем их проверяли валидатор и рецензенты.

На основе среды собран набор HALO-8K: 8000 ответов 10 моделей, 800 на каждую. Двадцать экспертов выносили вердикт о приемлемости и для отклонённых ответов указывали причину: преждевременность, запоздалость, недостаточность, чрезмерность и прочее. Разумное бездействие засчитывалось как верный ответ.

Что показали результаты

Разброс большой: от 30,38% у GPT-OSS-20B до 72,88% у Gemini3.8-Flash. Даже лучшая модель выдаёт неприемлемый ответ более чем в четверти случаев. Среди открытых моделей лидирует DeepSeekV4-Pro с 56,63%, и он обошёл закрытые Gemini3.1-Pro и GPT5.6-Luna. В среднем закрытые модели набрали 63,08%, открытые — 47,55%, но три сильнейшие открытые модели лежат в пределах 2,50 пункта, а слабый хвост тянет среднее вниз.

Чаще всего агенты выбирали уровень L1 (69,20% ответов), L3 пришёлся на 16,09%, а L2 лишь на 4,18%. Доля исполнения у обеих групп почти одинакова, около 16,1%. Закрытые модели вдвое чаще выбирают L0. Преждевременное вмешательство встречается почти втрое чаще запоздалого, а чрезмерная сила — примерно вдвое чаще недостаточной. У двух лучших моделей таких ошибок меньше всего.

Бездействие само по себе качество не гарантирует. Qwen3.8-27B практически не ошибается бездействием (0% Inaction), но выбирает L0 лишь в 0,38% случаев и достигает только 55,13% приемлемости.

Поиск данных важнее объёма рассуждений

Открытые модели тратят в среднем 4,77 тыс. токенов рассуждений и делают 1,21 раунда поиска на ответ. У закрытых это 5,53 тыс. токенов и 2,55 раунда. Токенов у открытых лишь на 14% меньше, а поиска примерно на 53% меньше. Среди напоминаний обращение к локальному содержимому связано с более высокой приемлемостью и реже приводит к оценке «недостаточно». Следующая по рейтингу Claude-Opus5.5 тратит около 23% токенов рассуждений лидера, так что высокий результат возможен при разном расходе ресурсов.

Даже при правильном времени напоминания часто оказываются недостаточными, а исполнение — чрезмерным.

Ограничения

Приемлемость по типам потребностей меняется мало (54,35–56,00%), по областям — от 50,88% до 58,88%. Оценка идёт по выборке из 800 ответов на модель, а токены считаются по правилам разных провайдеров, поэтому сравнивать расход надо осторожно. Сценарии генерирует модель, хотя их проверяют люди. Вывод для разработчиков такой: проактивного ассистента стоит измерять не по количеству найденных потребностей, а по уместности момента и объёма действий, а в продукте держать L0 и L1 как безопасные режимы по умолчанию.