Те же 74 задачи, другие люди: ИИ-агенты в браузере теряют 36% успеха

Компьютерные агенты, или CUA, — это ИИ-программы, которые работают в браузере как человек: открывают сайты, сравнивают цены, бронируют, пишут письма. Обычно их проверяют на фиксированных заданиях: есть формулировка, есть чек-лист, агент либо выполнил, либо нет. Группа исследователей из UT Dallas, USC, Carnegie Mellon, Georgia Tech, UCLA, Пенсильванского университета, UC Irvine, Иллинойса и MIT спросила иначе: что будет, если одну и ту же задачу поручают разные люди, каждый своими словами? Так появился PersonaCUABench. Результат неприятный: средняя доля выполненных требований упала с 0,689 до 0,441, то есть на 36%.

Как одну задачу превратили в четыре разные просьбы

Задачи взяли из двух существующих бенчмарков, чтобы результат можно было проверить автоматически:

• Odysseys: длинные информационные задачи на живых сайтах, где агент собирает данные, сравнивает и докладывает. Оттуда 38 задач. • REAL: действия на точных копиях популярных сайтов, например заказ еды, отправка письма, бронь жилья. Оттуда 36 задач. Итог проверяет программа по финальному состоянию сайта.

Всего вышло 74 задачи в 11 областях: 40 из жизни, 34 из работы. Для каждой области создали четыре персоны, по одной на группу: профильные эксперты, пожилые люди, молодые взрослые и практичные пользователи, которые живут в режиме дедлайна. Всего 44 персоны. Каждая описана 37 атрибутами из схемы MatrAIx на 1 290 параметров: возраст, образование, доход, стаж, нехватка времени, знакомство с темой.

Дальше работал отдельный ИИ-имитатор пользователя. Он получал профиль и исходную формулировку и переписывал её голосом персоны. Он мог опустить требование, описать его расплывчато или добавить своё. Например, потребовать подтвердить фиксированную цену до отправки предложения. Агент видел только получившийся диалог и мог задавать уточняющие вопросы. Профиля и оригинальной задачи у него не было.

Испытывали девять моделей: MiniMax M3, Kimi K3, Muse Glimmer 30B, Grok 4.6, Qwen 3.8 27B, Gemini 3.8 Flash, GPT-6 Astra, DeepSeek V4.1 Flash и Claude Opus 5.5. Все работали в одной браузерной обвязке, с одинаковыми инструментами и бюджетом шагов. Вышло 3 330 прогонов. В роли имитатора и судьи выступал GPT-5.6-terra, причём судья был отдельным экземпляром и диалога не видел.

Куда уходят очки

У каждой модели результат упал, потери от 28% до 45%. Во всех четырёх группах персон результат ниже, чем при исходной формулировке. Лучшая персона-группа отстаёт от оригинала на 0,185. Внутри одной модели лучшая и худшая группы расходятся на 0,10–0,13. Между моделями разброс на одной группе достигает 0,14. Выходит, что кто спрашивает, влияет на результат почти так же сильно, как то, какая модель работает. Рейтинг тоже меняется: Gemini 3.8 Flash на исходных просьбах почти в лидерах (0,734), а на одной из групп оказывается седьмой (0,360).

Авторы разложили каждое требование на три вопроса: сказал ли его пользователь, взялся ли за него агент и выполнено ли оно. Среди случаев, где очки потеряны:

• в 59,9% агент занялся тем, что просил человек, но сделал неправильно; • в 11,2% пользователь сам попросил остановиться или подтвердить, а проверка по оригинальному чек-листу засчитала это как провал.

Второй пункт показателен. Агент, который составил предложение, но не отправил его, потому что человек так просил, проваливает тест. В одном из примеров MiniMax M3 остановился перед отправкой, задача формально провалена, а пользователь поставил 5 из 5.

Оценка пользователя расходится с оценкой теста

Средняя удовлетворённость по группам персон составила 3,59, 3,10, 3,42 и 3,33 балла по пятибалльной шкале. Для исходных формулировок, где профиля нет, она равна 4,04. Расхождение идёт в обе стороны.

• Среди 646 полностью выполненных персона-задач высший балл поставили лишь 62,7%, а 25,9% дали тройку или ниже. Для исходных формулировок цифры 84,1% и 9,5%. • Среди 800 проваленных задач-действий 56% пользователь считал сделанными в момент сдачи. После проверки состояния сайта таких осталось 27%.

Уточняющие вопросы тоже не спасают. Агенты задали 609 вопросов, и только 24% из них касались требования, которое пользователь не озвучил. На GPT-6 Astra проверили два очевидных лекарства: показать агенту профиль пользователя и обязать его задать хотя бы один вопрос. Потерю качества не вернул ни один из способов.

Что из этого следует

Тех, кто строит агентов для почты, покупок и бронирований, работа предупреждает: высокий балл на бенчмарке не говорит, что реальные люди будут довольны. Там, где ошибка стоит денег или рассылки не тому адресату, нужны проверки, которые отличают осознанную остановку по просьбе пользователя от провала. Нужны и тесты с разными формулировками одной задачи. Авторы предлагают оценивать агентов не только по выполнению задания, но и по тому, учли ли они требования и ограничения, которые человек выразил.

Оговорки очевидны: пользователи и судья здесь сами ИИ, причём из одного семейства, а задач всего 74. Но направление понятно: между «выполнил задание» и «помог человеку» остаётся заметный зазор.