MisVisAgentBench : les graphiques trompeurs font chuter de 34 points de pourcentage le taux de réussite des agents web

Des chercheurs ont présenté sur arXiv MisVisAgentBench, le premier test exécutable par paires qui mesure l'influence des visualisations trompeuses sur le comportement des agents web. Le jeu de données comprend 280 instances de tâches, organisées en paires « graphique fidèle / graphique trompeur ». Sur treize agents vision-language, le remplacement d'un graphique fidèle par un graphique trompeur a réduit de plus de 34 points de pourcentage le taux moyen de tâches menées à bien.

Les agents web ouvrent de plus en plus souvent des pages par eux-mêmes, lisent des tableaux de bord et agissent au nom de l'utilisateur. Pour un tel agent, un graphique n'est pas une réponse finale, mais une preuve intermédiaire sur laquelle repose l'étape suivante : que choisir, que valider, où cliquer. Si le graphique déforme la réalité, l'erreur de lecture se transforme en action concrète. Les auteurs soulignent que ce domaine de la fiabilité est presque inexploré.

En quoi cela diffère du chart QA

Les tests classiques de questions-réponses sur graphiques s'arrêtent à la réponse du modèle. Ici, la réponse ne fait que déclencher une chaîne d'exécution. Il ne s'agit pas non plus de prompt injection : les graphiques trompeurs ne contiennent aucune instruction malveillante. Ils présentent simplement les données de manière à faire dériver le jugement de lui-même, par le choix de l'échelle, de la forme ou des éléments mis en avant.

La caractéristique clé du dispositif est que, dans chaque paire, seule la preuve graphique diffère. Le reste de la tâche demeure identique. On peut ainsi attribuer la baisse de performance à la tromperie visuelle, et non à la difficulté de la tâche. Pour cela, les auteurs ont ajouté un cadre diagnostique qui sépare les échecs causés par la distorsion de la difficulté de base de la tâche (en référence à Zhu et al., 2025).

Paramètres de l'étude :

• 280 instances de tâches en paires « graphique fidèle / graphique trompeur » ;
• 13 agents web vision-language évalués ;
• baisse du taux de réussite moyen de plus de 34 points de pourcentage lors du remplacement du graphique ;
• métriques d'exécution : étapes de consultation superflues et « hésitation » dans la prise de décision ;
• benchmark exécutable : l'agent agit, il ne se contente pas de répondre à des questions.

Les erreurs suivent le même sillon

L'observation la plus intéressante ne tient pas à l'ampleur de la baisse, mais à sa structure. Les échecs suivent en majorité la branche d'actions fausse ciblée, celle que le graphique trompeur est conçu pour provoquer. Les agents ne s'effondrent pas de façon chaotique : leurs décisions les entraînent systématiquement dans une direction prédéfinie.

Pour la sécurité, cela compte plus que le pourcentage moyen. Un bruit aléatoire peut être en partie neutralisé par des relances ou par un vote entre plusieurs agents. Un biais directionnel ne se corrige pas ainsi : toutes les exécutions aboutiront à la même conclusion erronée. Celui qui contrôle la mise en forme des données sur une page peut potentiellement piloter aussi les actions de l'agent, sans écrire la moindre commande.

Il y a aussi des limites. Il s'agit d'un préprint, et l'abstract ne précise pas quels types de distorsions figurent dans le jeu de données, comment les modèles se distinguent entre eux, ni dans quelle mesure les résultats se transposent à des pages réelles. Le chiffre de 34 points de pourcentage est une moyenne sur treize agents : pour des systèmes pris isolément, l'écart peut être nettement plus faible ou plus élevé.

Que faire pour les équipes qui développent des agents

Premièrement : ajouter des tests par paires à la régression. Si un agent prend des décisions à partir de graphiques, il faut des tâches où les données sont les mêmes mais la présentation diffère. La baisse entre la version « fidèle » et la version « trompeuse » devient alors une métrique à part.

Deuxièmement : ne pas laisser un graphique être l'unique fondement d'une action. Là où le tableau source, une API ou une synthèse textuelle sont accessibles, l'agent doit y confronter la conclusion qu'il a tirée de l'image.

Troisièmement : pour les étapes irréversibles, comme les paiements, les publications ou les modifications de configuration, conserver une validation humaine. Compter sur l'autovérification du modèle est risqué, puisque les erreurs sont directionnelles.

Quatrièmement : journaliser le nombre d'étapes de consultation et les signes d'hésitation. Les auteurs les relèvent comme des effets d'exécution, et ces signaux peuvent servir d'indicateur que l'agent a rencontré une preuve visuelle étrange.