Benchmark iPrefBench : les agents iOS exécutent 91,6% des actions, mais ne résolvent que 47,7% des tâches

L'agent qui « vous connaît » et agit en votre nom reste la grande promesse des assistants IA. Le nouveau benchmark iPrefBench montre à quel point cette promesse est loin de la réalité. Sur 130 tâches volontairement incomplètes, réparties dans 26 applications iOS, sept agents de pointe atteignent 91,6% au score d'actions exécutées, mais ne mènent pleinement à bien que 47,7% des tâches au maximum. La personnalisation avale tout le reste.

Deux situations où l'agent doit réfléchir

Les agents actuels qui pilotent une interface se débrouillent bien avec des commandes entièrement spécifiées : ouvrir l'application, parcourir les écrans, appuyer sur les bons boutons. Mais les gens ne parlent pas ainsi. Une requête du type « commande-moi comme d'habitude » ou « réserve comme la dernière fois » laisse de côté la moitié des paramètres. Pour l'exécuter correctement pour cette personne précise, l'agent doit choisir entre deux stratégies.

La première consiste à déduire ce qui manque à partir de l'historique d'activité de l'utilisateur. La seconde, à demander ce qui ne figure pas dans l'historique et ne peut pas y figurer. L'agent ne doit ni inventer des hypothèses sans appui dans les données, ni submerger l'utilisateur de questions superflues. Les auteurs du benchmark construisent leur évaluation autour de cet équilibre. Chaque exigence manquante qui dépend de l'utilisateur est, par construction, soit history-inferable (déductible de l'historique), soit ask-only (connaissable uniquement par une question).

Une persona de 3 051 événements et un interlocuteur simulé

L'environnement est exécutable : les agents travaillent dans un environnement iOS au lieu de répondre à des questions sur des captures d'écran. Le socle est une persona unique et cohérente, dotée de 3 051 événements d'activité passée. C'est dans cet historique que l'agent peut puiser les préférences. Pour le dialogue, le benchmark s'appuie sur un utilisateur simulé interactif : si l'agent décide de préciser un détail, c'est le simulateur qui lui répond, et non une réplique préenregistrée.

Paramètres du jeu de tests :

• 130 tâches utilisateur incomplètes ;
• 26 applications ;
• 3 051 événements d'historique dans une seule persona ;
• 2 types d'exigences manquantes : celles déductibles de l'historique et celles qui exigent une question ;
• 7 agents de pointe testés ;
• 2 groupes de métriques : l'exécution personnalisée de la tâche (est-elle réalisée correctement pour cet utilisateur) et l'interaction de l'agent avec l'utilisateur (l'agent a-t-il posé la question quand c'était nécessaire) ;
• meilleur résultat au score d'actions exécutées : 91,6% ;
• meilleur résultat en succès complet de la tâche : 47,7%.

Où les agents décrochent

La principale conclusion tient dans l'écart entre « je sais cliquer » et « je comprends ce que veut la personne ». La mécanique d'exécution des meilleurs agents est presque parfaitement rodée, et leurs scores d'actions paraissent quasi idéaux. Mais une tâche n'est considérée comme résolue que si le résultat correspond aux préférences de l'utilisateur, et là, le résultat chute de près de moitié.

Le point faible le plus net concerne les informations ask-only. Les agents manquent de discipline pour s'arrêter à temps et poser la question : ils ne demandent pas assez de données nécessaires et poursuivent sur des suppositions. Ce mode de fonctionnement est dangereux dans les scénarios réels, comme les réservations, les paiements ou les messages, où une hypothèse erronée se transforme en action erronée. Pour les tâches fondées sur l'historique, le tableau est en principe moins sombre, mais là encore les agents doivent extraire l'information utile de milliers d'événements.

L'article a été publié sur Hugging Face, sur la page de l'organisation Apple. Ses auteurs sont Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols et Eldon Schoop. Le choix d'iOS et d'un utilisateur simulé indique à lui seul où regardent les développeurs : un agent personnel sur téléphone doit non seulement exécuter, mais aussi connaître les limites de son savoir.

Pour ceux qui conçoivent ou choisissent des agents mobiles, la leçon est pratique. Les métriques par étape et le taux de réussite des actions ne disent plus rien de la qualité : il faut mesurer séparément si l'agent a correctement rempli les paramètres manquants et combien de fois il a posé une question là où l'on ne pouvait pas s'en passer. Il faut vérifier la politique de clarification, c'est-à-dire les moments où l'agent est tenu de s'arrêter, et pas seulement la précision des clics. Tant que les agents n'auront pas appris à distinguer « je peux le découvrir » de « seul l'utilisateur peut le dire », leur déléguer entièrement des tâches personnelles restera risqué.