OpenMobile-2 ouvre son agent mobile : 79,9 sur AndroidWorld et 110 applications

L'équipe d'OpenMobile-2 a publié un agent mobile proche de l'état de l'art. Elle ne s'est pas contentée d'ouvrir les poids du modèle final : elle a aussi publié tout le socle, soit l'environnement, les données et les recettes d'entraînement. L'agent obtient 79,9 sur AndroidWorld et 50,4 sur MobileWorld. Sur appareils réels dans SPA-Bench, le résultat est passé de 31,9 à 59,6. Le projet repose sur 35 applications commerciales simulées, environ 12 000 trajectoires pour le supervised fine-tuning et plus de 2 000 tâches RL à vérification automatique.

Un bac à sable de 110 applications

Le cœur du travail est MobileGym++. Il s'agit d'un ensemble de 35 applications réalistes, calquées sur des applications commerciales : elles offrent des fonctionnalités riches et des scénarios qui traversent plusieurs applications à la fois. L'environnement reste pourtant entièrement contrôlable : l'état peut être réinitialisé et le résultat d'une tâche est vérifié par programme. C'est crucial pour l'apprentissage par renforcement, car la récompense doit être calculée automatiquement et de façon reproductible. Les services en production, avec leurs comptes et leur contenu changeant, ne le permettent pas.

Aux simulateurs s'ajoutent des applications configurées dans des émulateurs Android. L'ensemble forme une plateforme de plus de 110 applications. Cette diversité limite le surapprentissage sur un petit jeu d'interfaces, là où beaucoup d'agents mobiles échouent habituellement.

Données et approche hybride GUI-outils

Sur cette base, les auteurs ont constitué près de 12 000 trajectoires d'interaction pour le SFT. Ils affirment aussi avoir assemblé la plus grande collection ouverte de données RL vérifiables pour agents mobiles : plus de 2 000 tâches exécutables avec récompense automatique.

La seconde idée est expérimentale. Les applications exposent une partie de leurs fonctions sous forme d'outils app-native, tout en laissant l'interface accessible. Au sein d'une même tâche, l'agent alterne tapes et swipes avec des appels d'outils : quand il est plus rapide d'appeler une fonction, il le fait ; quand l'écran est nécessaire, il passe par le GUI. MobileGym++ implémente plus de 300 outils, soigneusement restreints dans leurs capacités, répartis dans 50+ applications.

Pour l'évaluation, les auteurs ont ajouté MobileGym++ Bench : des scénarios longs et complexes dans des applications commerciales. Le même ensemble de tâches peut être exécuté en mode « GUI seul » et en mode hybride, ce qui permet de mesurer directement l'apport des outils.

Chiffres clés :

• AndroidWorld : 79,9
• MobileWorld : 50,4
• SPA-Bench sur appareils réels : de 31,9 à 59,6
• Environnement : 35 applications simulées, plus de 110 avec les émulateurs
• Données SFT : environ 12 000 trajectoires
• Données RL : plus de 2 000 tâches avec récompense automatique
• Outils : 300+ dans 50+ applications

Que tester côté équipes

Pour les groupes de recherche, le plus simple est de reprendre l'environnement prêt à l'emploi, avec ses tâches vérifiables, plutôt que de monter un banc d'essai from scratch : l'entraînement et l'évaluation deviennent alors comparables aux résultats publiés. Pour ceux qui développent des assistants mobiles, c'est le benchmark hybride qui est le plus utile. Il montre ce que l'exposition des fonctions d'une application sous forme d'outils apporte en précision et en nombre d'étapes, par rapport à un travail uniquement via l'écran. C'est au fond la même logique que le function calling dans les LLM, transposée à l'interface mobile.

Il y a toutefois des réserves. Les auteurs qualifient eux-mêmes le mode hybride d'expérimental. La hausse sur SPA-Bench, de 31,9 à 59,6, paraît forte, mais l'abstract ne précise pas quelle base de référence sert à la comparaison : mieux vaut donc consulter l'article complet avant de tirer des conclusions. L'évaluation « proche de l'état de l'art » vient elle aussi des auteurs. On peut toutefois la vérifier tout de suite : tout est publié sur la page du projet, os-copilot.github.io/OpenMobile2-Home.