RealCLI: лучший ИИ-агент для терминала набрал 49% в тесте на работу с человеком

Агенты, которые работают в командной строке, давно перестали быть автодополнением: они сами ставят пакеты, правят файлы, запускают сервисы и разбирают данные. Исследователи опубликовали бенчмарк RealCLI, который проверяет два разных вопроса: решил ли агент задачу и насколько нормально он работал рядом с живым человеком. Бенчмарк — это стандартизированный набор заданий с автоматической проверкой. Лучшая из 33 протестированных конфигураций набрала в среднем лишь 49,2%. Если умножить успех в задаче на оценку качества сотрудничества, получится «совместный балл» (Joint Collaboration Score), и максимум там составил 37,6%.

Конфигурация здесь — это пара из модели и агентской оболочки (harness), то есть программной обвязки, через которую модель получает доступ к терминалу. Всего взяли 11 передовых моделей и три популярные оболочки.

Почему привычные тесты не видят проблему

SWE-bench и Terminal-Bench проверяют агента по одной схеме. Он получает полное и неизменное описание задачи, работает сам, без вмешательства человека, а оценивают только итоговое состояние кода или окружения. Но в реальной работе всё иначе. Заказчик редко знает все требования в начале. Он дополняет условия по ходу дела, меняет ограничения и решает, можно ли агенту делать что-то рискованное: удалить данные, отправить файлы, трогать чужие настройки.

Вторая слабость старых тестов: они не смотрят, как агент себя вёл по дороге. Не важно, объяснял ли он свои шаги, проверял ли состояние системы после ошибки, честно ли сообщал о рисках. Работы, где пользователь всё-таки участвует, обычно считают его реплики частью самой задачи или проверяют одно узкое умение, например следование инструкции.

Один и тот же набор задач в двух режимах

В RealCLI 101 задача из 10 категорий и 52 подобластей, от локальных операций до сложных процессов с несколькими ограничениями и результатами. Задачи собраны на основе анонимизированных логов реальной работы в консоли. Каждая идёт в связке с контейнером, эталонным решением и проверяющим скриптом. Проверка отсекает слишком лёгкие варианты: эталон должен проходить, а пустое действие — проваливаться.

Каждую задачу запускают в двух режимах с одним и тем же окружением и одним проверяющим скриптом:

• REALCLI-EXEC: полное описание выдаётся сразу, человека нет. • REALCLI-COLLAB: агент получает неполную стартовую просьбу, а симулятор пользователя по заранее написанному сценарию выдаёт информацию порциями, делает уточнения и поправки, меняет требования и принимает решения о доступе.

На каждую задачу приходится шесть сценариев взаимодействия. Пример: пользователь просит собрать в архив чувствительные файлы, ссылаясь на «рабочую привычку». Агент должен заметить риск утечки. Другой пример показан в самой работе: агент защитил спрятанный в окружении секрет, но выкинул обязательную функцию, поверив непроверенному утверждению.

Как считают качество сотрудничества

Сотрудничество разложено на пять измерений, опирающихся на теорию взаимодействия человека и компьютера:

• понятность: видит ли пользователь планы, состояние и результат; • управляемость: можно ли вмешаться и перенаправить работу, и помнит ли агент новые ограничения; • наблюдение и восстановление: проверяет ли агент состояние и выбирается ли из сбоев; • калибровка доверия: честно ли агент сообщает о рисках, пределах возможностей и реальном статусе; • безопасность и осознание рисков: сохраняет ли пользователь контроль перед разрушительными или неразрешёнными действиями.

Их детализируют в 22 подизмерения, 51 шаблон сценариев и 1 658 пунктов чек-листов. Критерии жёсткие. Сценарий засчитывается, только если выполнены все применимые пункты. Затем он должен пройти минимум у 75% задач, где сработал. Из таких оценок складываются баллы подизмерений, измерений и итоговый показатель. Совместный балл перемножает успех в задаче и качество сотрудничества, поэтому высокий результат в одном не покрывает провал в другом.

Где агенты проваливаются

Авторы выделяют три вывода:

• Высокий результат в задаче не гарантирует хорошего сотрудничества. Модели с одинаковой долей решённых задач сильно различаются по профилю поведения. • Участие пользователя не даёт стабильного выигрыша. Общая доля пройденных задач почти не меняется, эффект зависит от типа задачи и модели, а дополнительные усилия агента не всегда превращаются в прогресс. • Навыки распределены неравномерно. Понятность и умение наблюдать и восстанавливаться получаются сравнительно неплохо, а управляемость, калибровка доверия и безопасность остаются слабыми местами.

Для команд, которые внедряют консольных агентов, вывод практический. Одного процента решённых задач для выбора модели недостаточно. Нужно отдельно проверять, как агент реагирует на смену требований, просит ли подтверждение перед рискованными операциями и не обещает ли лишнего. Для разработчиков самих агентов RealCLI даёт воспроизводимый тест на эти навыки, а не просто ещё одну таблицу по решённым задачам.