OpenMobile-2 открыл мобильного агента: 79,9 на AndroidWorld и 110 приложений

Команда OpenMobile-2 опубликовала мобильного агента близкого к фронтиру уровня и открыла не только веса результата, но и весь фундамент: среду, данные и рецепты обучения. На AndroidWorld агент набирает 79,9, на MobileWorld — 50,4, а на реальных устройствах в SPA-Bench результат вырос с 31,9 до 59,6. В основе лежат 35 симулированных коммерческих приложений, около 12 тысяч траекторий для supervised fine-tuning и более 2 тысяч RL-задач с автоматической проверкой.

Песочница на 110 приложений

Главная часть работы — MobileGym++. Это набор из 35 реалистичных приложений в стиле коммерческих: с богатой функциональностью и сценариями, которые проходят через несколько приложений сразу. При этом среду можно полностью контролировать: состояние сбрасывается, а результат задачи проверяется программно. Для обучения с подкреплением это критично, потому что награду нужно считать автоматически и воспроизводимо, а живые сервисы с аккаунтами и меняющимся контентом этого не дают.

К симуляторам добавлены приложения, настроенные в эмуляторах Android. Вместе получается площадка больше чем на 110 приложений. Разнообразие здесь работает против переобучения под узкий набор интерфейсов, на котором многие мобильные агенты обычно и ломаются.

Данные и гибрид GUI с инструментами

На этой базе авторы собрали почти 12 тысяч траекторий взаимодействия для SFT и, по их утверждению, самую большую открытую коллекцию проверяемых RL-данных для мобильных агентов: свыше 2 тысяч исполняемых задач с автоматической наградой.

Вторая идея экспериментальная. Приложения отдают часть функций как app-native инструменты, а интерфейс остаётся доступным. Агент в рамках одной задачи чередует тапы и свайпы с вызовами инструментов: где быстрее позвонить функции, вызывает её, где нужен экран, работает через GUI. В MobileGym++ реализовано больше 300 аккуратно ограниченных по возможностям инструментов в 50+ приложениях.

Для оценки добавлен MobileGym++ Bench: длинные сложные сценарии в коммерческих приложениях. Один и тот же набор задач можно прогнать в режиме «только GUI» и в гибридном, так что вклад инструментов измеряется напрямую.

Ключевые цифры:

• AndroidWorld: 79,9
• MobileWorld: 50,4
• SPA-Bench на реальных устройствах: с 31,9 до 59,6
• Среда: 35 симулированных приложений, всего больше 110 с эмуляторами
• SFT-данные: около 12 тысяч траекторий
• RL-данные: более 2 тысяч задач с автоматической наградой
• Инструменты: 300+ в 50+ приложениях

Что пробовать командам

Исследовательским группам проще всего взять готовую среду с проверяемыми задачами и не строить свой стенд с нуля: обучение и оценка становятся сопоставимыми с опубликованными результатами. Для тех, кто делает мобильные ассистенты, полезен именно гибридный бенчмарк: он покажет, сколько точности и шагов даёт раскрытие функций приложения как инструментов по сравнению с чистой работой через экран. По сути это та же логика, что и function calling в LLM, только перенесённая в мобильный интерфейс.

Есть и оговорки. Гибридный режим авторы сами называют экспериментальным. Рост на SPA-Bench с 31,9 до 59,6 выглядит сильным, но в аннотации не указано, с какой именно базовой точкой идёт сравнение, поэтому перед выводами стоит свериться с полной статьёй. Оценка «близко к фронтиру» тоже исходит от самих авторов. Проверить её можно сразу: всё опубликовано на странице проекта os-copilot.github.io/OpenMobile2-Home.