Агент на 8 млрд параметров управляет iOS-приложениями на уровне Gemini 3.1 Pro

Команда исследователей показала, что небольшую модель с 8 млрд параметров можно научить уверенно пользоваться настоящими iOS-приложениями и сделать это дешевле, чем с флагманскими нейросетями. Агента не учили на записанных примерах. Он набивал шишки прямо на живых виртуальных iPhone. На UINavBench, тесте с реальными приложениями для iOS, он сравнялся с Gemini 3.1 Pro и обошёл Gemini 3.5 Flash и Qwen3.8-27B. Задачи там вроде «найди пару кроссовок и положи в корзину». Нужно самому нажимать кнопки, листать экраны и не заблудиться.

Почему маленькие агенты для интерфейсов обычно ломаются

Агенты, которые смотрят на скриншот и сами тапают по экрану, привлекают всё больше внимания. Флагманские модели с этим справляются, но по оценке авторов, одна задача часто стоит несколько долларов. Для повседневного использования это дорого.

Поэтому все хотят маленькие модели. Но у типичных способов их обучения есть слабые места:

• Дообучка на демонстрациях (SFT). Модель копирует записанные маршруты людей. Там почти нет ошибок, поэтому она не знает, как выглядит сбой и что делать после него. При отклонении от привычного пути агент теряется.
• Обучение с подкреплением с наградой только в конце. Агент получает сигнал, лишь когда задача завершена. Если успехи редки, сигнала почти нет. Шаги, которые реально приближали к цели, не поощряются, если задачу всё равно провалили.
• Одношаговое обучение с подкреплением. Модель награждают за сходство с эталонной цепочкой действий, и проблема та же, что у SFT.

Планировщик, исполнитель и судья

Авторы разделили агента на две части. Планировщик получает инструкцию, скриншот, историю прошлых шагов и остаток плана. Он рассуждает по цепочке и выдаёт текущий шаг и план на будущее. Среди его действий есть и вопрос к пользователю, если задача сформулирована расплывчато. Например, какие именно кроссовки искать.

Модель привязки к экрану (grounding) берёт текст шага и превращает его в конкретное действие с координатами касания. Это почти механическое соответствие «намерение — точка на экране», и его хорошо решает обычная дообучка. Дорогое обучение с подкреплением оставили только планировщику, где нужны рассуждения и умение выкручиваться.

Наградами занимается другая языковая модель в роли судьи. Она выдаёт два сигнала:

• плотную награду за каждый шаг: приблизил ли он к цели, не было ли выдумок и бесполезных циклов;
• итоговую награду за выполнение всей задачи.

Обучение идёт алгоритмом PPO с пошаговой оценкой преимущества (GAE): он вычисляет, насколько конкретный шаг оказался лучше или хуже ожидаемого. Чтобы агент не затягивал сессию ради наград за промежуточные шаги, авторы ввели асимметричное дисконтирование. Награды за шаги со временем обесцениваются, а итоговая награда за успех нет.

Отдельная находка называется GiGPPO. В PPO есть критик, модель, оценивающая, насколько хорошо текущее состояние. Критик нестабилен, поэтому ему подмешивают сигналы с визуально похожих экранов из параллельных запусков. Родственный метод GiGPO усредняет результаты только для точно совпадающих состояний. В живых приложениях такие совпадения почти не встречаются, и группы сводятся к одиночкам.

Сотни виртуальных iPhone и результаты

Обучение на живых устройствах требует инфраструктуры. Авторы используют облачные виртуальные iOS-устройства, управляемые по VNC: тап, свайп, ввод текста, долгое нажатие. Каждое устройство один раз настраивают, ставят приложения, входят в Apple ID и сохраняют снимок виртуальной машины. После эпизода систему откатывают к снимку, а не перезапускают, и это занимает около 10 секунд. Во время обучения работают 512 траекторий одновременно, у каждой своё устройство. По словам авторов, это первое обучение агентов интерфейсов в таком масштабе целиком на живых iOS-устройствах с реальными приложениями.

Стартовая точка: Qwen3-VL-8B-Instruct, дообученная на человеческих записях. Использованы два собственных набора данных (приложения Apple и сторонние приложения) и публичный GUIOdyssey. Он содержит Android-приложения, но в нём есть задачи на переключение между несколькими приложениями, которых в iOS-данных нет.

Что показали замеры на UINavBench, iOSWorld и AndroidWorld:

• агент заметно обошёл обе базовые схемы: дообучку на демонстрациях и обучение с наградой только в конце;
• плотные награды и GiGPPO ускоряют сходимость обучения;
• на AndroidWorld, где агент iOS не обучался, успешность почти в семь раз выше, чем после обычной дообучки;
• на UINavBench агент превзошёл Qwen3.8-27B и Gemini 3.5 Flash и сравнялся с Gemini 3.1 Pro.

Что это даёт на практике

Семикратный рост на Android говорит о том, что агент выучил общие приёмы навигации, а не маршруты конкретных iOS-приложений. Для компаний, которые строят мобильных ассистентов, это сигнал: компактная модель, потенциально пригодная для запуска на устройстве, может приблизиться к флагману, если учить её на живых средах с пошаговой обратной связью.

Есть и оговорки. Результаты получены на бенчмарках, а судья в обучении тоже языковая модель, то есть качество наград зависит от неё. Нужен и серьёзный парк виртуальных устройств. Но схема понятна: разделить планирование и привязку к экрану, награждать за прогресс, а не только за финал, и учиться на настоящих приложениях.