Un agent de 8 milliards de paramètres pilote des applications iOS au niveau de Gemini 3.1 Pro

Une équipe de chercheurs a montré qu'un petit modèle de 8 milliards de paramètres peut apprendre à utiliser de vraies applications iOS avec assurance, et à un coût inférieur à celui des réseaux de neurones de pointe. L'agent n'a pas été entraîné sur des exemples enregistrés. Il a appris à ses dépens, directement sur des iPhone virtuels en conditions réelles. Sur UINavBench, un test fondé sur de vraies applications iOS, il égale Gemini 3.1 Pro et devance Gemini 3.5 Flash et Qwen3.8-27B. Les tâches ressemblent à « trouve une paire de baskets et mets-la dans le panier ». L'agent doit appuyer lui-même sur les boutons, faire défiler les écrans et ne pas se perdre.

Pourquoi les petits agents d'interface déraillent généralement

Les agents qui regardent une capture d'écran et tapent eux-mêmes sur l'écran suscitent un intérêt croissant. Les modèles de pointe y parviennent, mais, selon les auteurs, une seule tâche coûte souvent plusieurs dollars. C'est trop cher pour un usage quotidien.

Tout le monde veut donc de petits modèles. Mais les méthodes d'entraînement habituelles présentent des faiblesses :

• Fine-tuning sur démonstrations (SFT). Le modèle copie les parcours enregistrés par des humains. Ceux-ci ne contiennent presque pas d'erreurs : le modèle ne sait donc pas à quoi ressemble un échec ni quoi faire ensuite. Dès que l'agent s'écarte du chemin habituel, il se perd.
• Apprentissage par renforcement avec récompense uniquement en fin de tâche. L'agent ne reçoit de signal qu'une fois la tâche terminée. Quand les réussites sont rares, il n'y a presque aucun signal. Les étapes qui rapprochaient réellement du but ne sont pas récompensées si la tâche échoue malgré tout.
• Apprentissage par renforcement en une seule étape. Le modèle est récompensé pour sa ressemblance avec une chaîne d'actions de référence, et le problème est le même qu'avec le SFT.

Planificateur, exécutant et juge

Les auteurs ont scindé l'agent en deux parties. Le planificateur reçoit la consigne, la capture d'écran, l'historique des étapes précédentes et le reste du plan. Il raisonne par chaîne de pensée et produit l'étape en cours ainsi que le plan pour la suite. Parmi ses actions figure aussi la possibilité de poser une question à l'utilisateur lorsque la tâche est formulée de façon vague, par exemple pour savoir quelles baskets chercher précisément.

Le modèle d'ancrage à l'écran (grounding) prend le texte de l'étape et le transforme en action concrète, avec les coordonnées du toucher. Il s'agit d'une correspondance presque mécanique entre « intention » et « point sur l'écran », que le fine-tuning classique résout bien. Les auteurs ont réservé l'apprentissage par renforcement, coûteux, au seul planificateur, qui doit raisonner et savoir se tirer d'affaire.

Les récompenses sont attribuées par un autre modèle de langage, dans le rôle de juge. Il produit deux signaux :

• une récompense dense à chaque étape : a-t-elle rapproché du but, y a-t-il eu des inventions ou des boucles inutiles ;
• une récompense finale pour l'accomplissement de l'ensemble de la tâche.

L'entraînement repose sur l'algorithme PPO avec estimation de l'avantage généralisée, étape par étape (GAE) : celle-ci calcule dans quelle mesure une étape donnée s'est révélée meilleure ou pire que prévu. Pour éviter que l'agent ne prolonge la session afin de collecter des récompenses intermédiaires, les auteurs ont introduit une actualisation asymétrique. Les récompenses par étape se déprécient avec le temps, contrairement à la récompense finale de réussite.

Une autre trouvaille s'appelle GiGPPO. Dans PPO, il existe un critique, un modèle qui estime la qualité de l'état courant. Ce critique est instable ; on lui injecte donc des signaux provenant d'écrans visuellement proches issus d'exécutions parallèles. La méthode apparentée GiGPO moyenne les résultats uniquement pour les états strictement identiques. Dans les applications réelles, ces coïncidences sont presque inexistantes, et les groupes se réduisent à des individus isolés.

Des centaines d'iPhone virtuels et les résultats

L'entraînement sur appareils réels exige une infrastructure. Les auteurs utilisent des appareils iOS virtuels dans le cloud, pilotés via VNC : tap, swipe, saisie de texte, appui long. Chaque appareil est configuré une seule fois : on y installe les applications, on se connecte à un identifiant Apple et on enregistre un instantané de la machine virtuelle. Après chaque épisode, le système revient à cet instantané au lieu de redémarrer, ce qui prend environ 10 secondes. Pendant l'entraînement, 512 trajectoires s'exécutent en parallèle, chacune sur son propre appareil. Selon les auteurs, il s'agit du premier entraînement d'agents d'interface à cette échelle, entièrement sur des appareils iOS réels avec de vraies applications.

Point de départ : Qwen3-VL-8B-Instruct, affiné sur des enregistrements humains. Deux jeux de données maison (applications Apple et applications tierces) ont été utilisés, ainsi que le jeu public GUIOdyssey. Ce dernier contient des applications Android, mais il comprend des tâches de passage d'une application à l'autre, absentes des données iOS.

Ce que les mesures sur UINavBench, iOSWorld et AndroidWorld ont montré :

• l'agent a nettement dépassé les deux schémas de référence : le fine-tuning sur démonstrations et l'apprentissage avec récompense uniquement en fin de tâche ;
• les récompenses denses et GiGPPO accélèrent la convergence de l'entraînement ;
• sur AndroidWorld, où l'agent iOS n'a pas été entraîné, le taux de réussite est presque sept fois supérieur à celui obtenu après un fine-tuning classique ;
• sur UINavBench, l'agent a surpassé Qwen3.8-27B et Gemini 3.5 Flash, et égalé Gemini 3.1 Pro.

Ce que cela change en pratique

La multiplication par sept du résultat sur Android indique que l'agent a appris des techniques générales de navigation, et non les parcours d'applications iOS précises. Pour les entreprises qui développent des assistants mobiles, c'est un signal : un modèle compact, potentiellement exécutable sur l'appareil, peut se rapprocher d'un modèle de pointe si on l'entraîne dans des environnements réels avec un retour d'information étape par étape.

Il y a toutefois des réserves. Les résultats proviennent de benchmarks, et le juge utilisé pendant l'entraînement est lui aussi un modèle de langage : la qualité des récompenses dépend donc de lui. Il faut en outre un parc conséquent d'appareils virtuels. Mais le principe est clair : séparer la planification de l'ancrage à l'écran, récompenser la progression et pas seulement le résultat final, et apprendre sur de vraies applications.