8B-агент для iOS обошёл Gemini-3.5-Flash на UINavBench и сравнялся с Gemini-3.1-Pro

Команда исследователей предложила способ обучать небольшие модели навигации по интерфейсам не на записанных демонстрациях, а в живом взаимодействии с настоящими iOS-приложениями. Получившийся агент с 8 млрд параметров на UINavBench — бенчмарке реальных iOS-приложений с проверкой успеха VLM-судьёй — обошёл Gemini-3.5-Flash и Qwen3.8-27B, а с Gemini-3.1-Pro показал ничью. На AndroidWorld, то есть на другой операционной системе, которую агент в обучении не видел, его успешность почти в семь раз выше, чем у базовой модели после SFT.

Зачем делить агента на планировщика и «наводчика»

Проблема, с которой начинается работа, известна всем, кто пробовал строить UI-агентов. Фронтирные модели справляются с навигацией по экрану, но стоят порой несколько долларов за одну задачу, и для повседневного использования это слишком дорого. Маленькие модели, обученные через SFT или офлайн-RL, запоминают траектории из обучающих данных. Стоит приложению показать неожиданный экран, и такой агент не знает, как вернуться на путь.

Авторы разделили систему на две части. Планировщик смотрит на скриншот, хранит историю прошлых шагов и через цепочку рассуждений выдаёт текущий шаг и долгосрочный план. Отдельная модель привязки (grounding) превращает этот шаг в конкретное действие и координаты касания. Привязка — почти детерминированная задача, и её хорошо решает обычный SFT. Дорогой RL поэтому тратят только на планировщик. Он стартует с Qwen3-VL-8B-Instruct, дообученной на человеческих траекториях, включая публичный набор GUIOdyssey ради сценариев с переключением между приложениями. У планировщика есть и действие для уточнения: если задача сформулирована неполно, он может спросить пользователя о предпочтениях.

Награда за каждый шаг и стабилизация критика

Обучение построено на LLM-судье, который выдаёт два сигнала. Плотная награда оценивает каждый шаг: приближает ли он к цели, нет ли галлюцинаций и бессмысленных циклов. Терминальная награда проверяет, выполнена ли задача целиком. Плотный сигнал нужен там, где итоговый успех редок: агент получает обратную связь даже в неудачных эпизодах и учится выбираться из неожиданных состояний.

Оптимизация идёт через PPO с пошаговой оценкой преимущества (GAE). Здесь авторы описывают знакомую беду: когда за шаги платят, агент начинает затягивать траекторию. Против этого они применили асимметричное дисконтирование: локальные награды за процесс дисконтируются, а награда за завершение задачи нет.

Вторая новинка — GiGPPO. Метод оценивает ценность состояния с учётом наград из визуально похожих состояний в параллельных траекториях. Это стабилизирует критик. Авторы подчёркивают отличие от GiGPO, где базовая линия считается по точно повторяющимся состояниям: в их среде такие состояния почти всегда единичны. Поэтому сигнал пропускают через обучаемую функцию ценности. По словам авторов, и плотная награда, и GiGPPO ускоряют сходимость, а результат лучше, чем у SFT и у RL с одной терминальной наградой.

Инфраструктура: 512 виртуальных iPhone

Онлайн-RL требует огромного числа реальных взаимодействий. Авторы собрали пул облачных виртуальных iOS-устройств, которыми управляют по VNC через набор действий вроде tap, swipe, type, long press, home и wait. Каждое устройство настраивают один раз: ставят приложения, входят в Apple ID, снимают снапшот. Затем каждый эпизод заканчивается откатом к снапшоту, а не пересозданием сессии, и перезапуск занимает около 10 секунд. Одновременно работают 512 траекторий, у каждой своё устройство. Авторы утверждают, что это первое масштабное обучение UI-агентов целиком на живых iOS-устройствах с настоящими приложениями.

Что стоит учитывать

Это препринт, и в доступном описании нет точных процентов успешности по бенчмаркам, поэтому «почти в семь раз» относится к низкой базе SFT на AndroidWorld, а не к абсолютной планке. Оценка в UINavBench опирается на VLM-судью, а награды при обучении выдаёт LLM-судья, так что ошибки судей могут влиять и на обучение, и на измерение. Сравнение с Gemini проведено на конкретном бенчмарке реальных iOS-приложений и не обязано переноситься на любые задачи.

Практический вывод для команд, которые делают мобильных агентов: разделение планирования и привязки плюс пошаговая награда от судьи позволяют получить от 8B-модели качество уровня фронтирных моделей на узкой области. Цена такого подхода — собственная ферма виртуальных устройств, и именно она, судя по работе, становится главным условием масштабирования.