Mêmes 74 tâches, autres utilisateurs : les agents IA de navigateur perdent 36% de réussite

Les agents d'utilisation d'ordinateur, ou CUA (computer-use agents), sont des programmes d'IA qui travaillent dans le navigateur comme un humain : ils ouvrent des sites, comparent des prix, réservent, rédigent des e-mails. On les évalue généralement sur des tâches figées : une formulation, une checklist, et l'agent a soit réussi, soit échoué. Un groupe de chercheurs d'UT Dallas, de l'USC, de Carnegie Mellon, de Georgia Tech, de l'UCLA, de l'université de Pennsylvanie, d'UC Irvine, de l'Illinois et du MIT a posé la question autrement : que se passe-t-il quand différentes personnes confient la même tâche à un agent, chacune avec ses propres mots ?

C'est ainsi qu'est né PersonaCUABench. Le résultat est peu flatteur : la part moyenne d'exigences satisfaites tombe de 0,689 à 0,441, soit une baisse de 36%.

Comment une tâche s'est transformée en quatre demandes différentes

Les tâches proviennent de deux benchmarks existants, afin que le résultat puisse être vérifié automatiquement :

• Odysseys : de longues tâches d'information sur des sites réels, où l'agent collecte des données, les compare et en rend compte. 38 tâches en sont issues. • REAL : des actions sur des copies exactes de sites populaires, par exemple commander un repas, envoyer un e-mail ou réserver un logement. 36 tâches en sont issues. Le verdict est rendu par un programme, d'après l'état final du site.

Au total, on obtient 74 tâches dans 11 domaines : 40 relevant de la vie quotidienne, 34 du travail. Pour chaque domaine, les chercheurs ont créé quatre personas, une par groupe : experts du domaine, personnes âgées, jeunes adultes et utilisateurs pragmatiques qui vivent sous la pression des échéances. Cela fait 44 personas en tout. Chacune est décrite par 37 attributs issus du schéma MatrAIx, qui compte 1 290 paramètres : âge, formation, revenu, ancienneté, manque de temps, familiarité avec le sujet.

Un simulateur d'utilisateur, une IA distincte, entrait ensuite en jeu. Il recevait le profil et la formulation d'origine, puis la réécrivait avec la voix de la persona. Il pouvait omettre une exigence, la décrire de façon vague ou en ajouter une de son cru. Par exemple, demander de confirmer un prix fixe avant d'envoyer une offre. L'agent ne voyait que le dialogue obtenu et pouvait poser des questions de clarification. Il n'avait accès ni au profil ni à la tâche d'origine.

Neuf modèles ont été testés : MiniMax M3, Kimi K3, Muse Glimmer 30B, Grok 4.6, Qwen 3.8 27B, Gemini 3.8 Flash, GPT-6 Astra, DeepSeek V4.1 Flash et Claude Opus 5.5. Tous fonctionnaient dans le même environnement de navigation, avec les mêmes outils et le même budget d'étapes. Cela représente 3 330 exécutions. GPT-5.6-terra tenait les rôles de simulateur et de juge, le juge étant une instance distincte qui ne voyait pas le dialogue.

Où partent les points

Le résultat baisse pour chaque modèle, avec des pertes de 28% à 45%. Dans les quatre groupes de personas, le score est inférieur à celui de la formulation d'origine. Le meilleur groupe de personas reste à 0,185 sous l'original. Au sein d'un même modèle, l'écart entre le meilleur et le pire groupe est de 0,10 à 0,13. Entre modèles, sur un même groupe, la dispersion atteint 0,14. Autrement dit, qui formule la demande pèse presque autant sur le résultat que le modèle qui l'exécute. Le classement change aussi : Gemini 3.8 Flash est presque en tête sur les demandes d'origine (0,734), mais se retrouve septième (0,360) sur l'un des groupes.

Les auteurs ont décomposé chaque exigence en trois questions : l'utilisateur l'a-t-il formulée, l'agent s'en est-il saisi, et est-elle remplie ? Parmi les cas où des points sont perdus :

• dans 59,9% des cas, l'agent a traité ce que la personne demandait, mais l'a mal fait ; • dans 11,2% des cas, l'utilisateur a lui-même demandé de s'arrêter ou de confirmer, et la vérification selon la checklist d'origine l'a comptabilisé comme un échec.

Le second point est révélateur. Un agent qui a rédigé une offre mais ne l'a pas envoyée, parce que la personne le lui avait demandé, échoue au test. Dans l'un des exemples, MiniMax M3 s'est arrêté avant l'envoi : la tâche est formellement échouée, mais l'utilisateur a donné 5 sur 5.

La note de l'utilisateur diverge de celle du test

La satisfaction moyenne selon les groupes de personas s'établit à 3,59, 3,10, 3,42 et 3,33 points sur une échelle de cinq. Pour les formulations d'origine, sans profil, elle est de 4,04. L'écart joue dans les deux sens.

• Sur 646 tâches de personas entièrement réussies, seuls 62,7% des utilisateurs ont attribué la note maximale, et 25,9% ont donné 3 ou moins. Pour les formulations d'origine, ces chiffres sont de 84,1% et 9,5%. • Sur 800 tâches d'action échouées, l'utilisateur en jugeait 56% accomplies au moment de la remise. Après vérification de l'état du site, il n'en reste que 27%.

Les questions de clarification n'y changent rien. Les agents ont posé 609 questions, et seules 24% d'entre elles portaient sur une exigence que l'utilisateur n'avait pas exprimée. Sur GPT-6 Astra, les chercheurs ont testé deux remèdes évidents : montrer à l'agent le profil de l'utilisateur et l'obliger à poser au moins une question. Aucune de ces méthodes n'a permis de récupérer la perte de qualité.

Ce qu'il faut en retenir

L'étude met en garde ceux qui conçoivent des agents pour la messagerie, les achats et les réservations : un score élevé sur un benchmark ne garantit pas que les utilisateurs réels seront satisfaits. Là où une erreur coûte de l'argent ou envoie un message au mauvais destinataire, il faut des vérifications capables de distinguer un arrêt volontaire, à la demande de l'utilisateur, d'un échec. Il faut aussi des tests avec plusieurs formulations d'une même tâche. Les auteurs proposent d'évaluer les agents non seulement sur l'exécution de la tâche, mais aussi sur la prise en compte des exigences et des contraintes exprimées par la personne.

Les limites sont évidentes : les utilisateurs et le juge sont ici eux-mêmes des IA, qui plus est de la même famille, et il n'y a que 74 tâches. Mais la tendance est claire : entre « a exécuté la tâche » et « a aidé la personne », l'écart reste notable.