Бенчмарк iPrefBench: iOS-агенты выполняют 91,6% действий, но решают 47,7% задач

Агент, который «знает вас» и действует от вашего имени, остаётся главным обещанием ИИ-ассистентов. Новый бенчмарк iPrefBench показывает, насколько далеко это обещание от реальности. На 130 намеренно неполных задачах в 26 приложениях для iOS семь передовых агентов добираются до 91,6% по оценке выполненных действий, но полностью успешно закрывают не больше 47,7% задач. Всё остальное съедает персонализация.

Две ситуации, в которых агент обязан думать

Современные агенты, работающие с интерфейсом, уверенно справляются с полностью заданными командами: открыть приложение, пройти по экранам, нажать нужные кнопки. Но живые люди так не говорят. Запрос вроде «закажи мне обычное» или «забронируй, как в прошлый раз» опускает половину параметров. Чтобы выполнить его правильно именно для этого человека, агент должен выбрать одну из двух стратегий.

Первая — вывести недостающее из истории активности пользователя. Вторая — спросить то, чего в истории нет и быть не может. При этом нельзя ни выдумывать допущения без опоры на данные, ни засыпать человека лишними вопросами. Авторы бенчмарка строят оценку вокруг этого баланса. Каждое пропущенное требование, зависящее от пользователя, по построению либо history-inferable (выводимо из истории), либо ask-only (узнаваемо только вопросом).

Персона на 3 051 событие и симулированный собеседник

Среда исполняемая: агенты работают в iOS-окружении, а не отвечают на вопросы по скриншотам. В основе лежит единая связная персона с 3 051 событием прошлой активности. Это та самая история, из которой агент может черпать предпочтения. Для диалога используется интерактивный симулированный пользователь: если агент решает уточнить деталь, ему отвечает симулятор, а не заранее записанная реплика.

Параметры набора:

• 130 неполных пользовательских задач;
• 26 приложений;
• 3 051 событие истории в одной персоне;
• 2 типа пропущенных требований: выводимые из истории и требующие вопроса;
• 7 протестированных передовых агентов;
• 2 группы метрик: персонализированное выполнение задачи (сделано ли это правильно для данного пользователя) и взаимодействие агента с пользователем (спросил ли агент, когда это было необходимо);
• лучший результат по оценке выполненных действий — 91,6%;
• лучший результат по полному успеху задачи — 47,7%.

Где агенты ломаются

Главный вывод — зазор между «умею нажимать» и «понимаю, чего хочет человек». Механика выполнения у лучших агентов почти отточена, и по баллам за действия они выглядят почти идеально. Но задача считается решённой, только если итог совпал с предпочтениями пользователя, и здесь результат падает почти вдвое.

Особенно слабое место — ask-only информация. Агентам не хватает дисциплины вовремя остановиться и задать вопрос: они недозапрашивают необходимые данные и идут дальше на догадках. Это опасный режим для реальных сценариев — бронирований, платежей, сообщений, где неверное допущение превращается в неверное действие. Для задач с историей картина мягче в принципе, но и там агентам приходится вычленять нужное из тысяч событий.

Статья опубликована на Hugging Face на странице организации Apple, а среди авторов — Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols и Eldon Schoop. Сам по себе выбор iOS и симулируемого пользователя показывает, куда смотрят разработчики: личный агент на телефоне должен не только исполнять, но и знать границы своего знания.

Для тех, кто строит или выбирает мобильных агентов, вывод практичен. Метрики шагов и успешности действий больше ничего не говорят о качестве: нужно отдельно измерять, верно ли агент заполнил пропущенные параметры и сколько раз он спросил там, где без вопроса нельзя. Стоит проверять политику уточнений — когда агент обязан остановиться, — а не только точность кликов. И пока агенты не научатся различать «я могу это узнать» и «только пользователь может это сказать», полное делегирование им личных задач останется рискованным.