AgentVQA a testé 22 VLM sur des tâches d'agent : le meilleur n'atteint que 58,5%

Le meilleur des 22 modèles vision-langage testés n'atteint que 58,5% de précision sur le nouveau benchmark AgentVQA. Il s'agit d'un ensemble hors ligne de 1000 exemples difficiles, sélectionnés à la main parmi 23 jeux de données sources. Il couvre cinq domaines dans lesquels les VLM agissent comme des agents : agents web, robotique, vidéo à la première personne, jeux et planification spatiale. Selon les auteurs, le classement des modèles sur AgentVQA reproduit celui des évaluations en ligne correspondantes. Un test rapide et peu coûteux peut donc remplacer une partie des coûteuses exécutions en simulateur.

Pourquoi le coût freine les évaluations en ligne des agents

Les VLM savent faire beaucoup de choses : décrire des images, lire des interfaces, répondre à des questions sur des vidéos. Mais on comprend bien moins leur comportement dans une boucle d'agent, où il faut observer un écran ou une scène, choisir une action et en constater les conséquences. La méthode directe consiste à les évaluer en ligne, dans un simulateur ou un environnement réel. Elle est indispensable, mais coûteuse, difficile à passer à l'échelle, et ses résultats se comparent mal d'une équipe à l'autre.

Les benchmarks hors ligne de questions-réponses visuelles (VQA) pourraient combler cet écart. Les auteurs d'AgentVQA estiment que les jeux existants sont fragmentés et limités : chacun couvre un domaine étroit, et il n'existe pas d'échelle commune pour les scénarios d'agent. AgentVQA tente de construire cette échelle au sein d'un seul ensemble.

Comment ont été constitués les mille exemples « difficiles »

L'équipe n'a pas collecté les données automatiquement : elle a choisi les exemples à la main dans 23 sources. Le critère : des scènes réalistes et réellement difficiles, issues d'environnements interactifs. Les exemples ont ensuite été adaptés pour pouvoir être évalués de façon fiable sans lancer l'environnement. Une situation réelle tirée d'une tâche interactive devient une question dont la réponse est vérifiable, tout en conservant le contexte d'origine.

L'argument principal en faveur de cette méthode est la corrélation avec les résultats en ligne. Si le modèle A devance le modèle B dans un simulateur, il le devance en règle générale aussi sur AgentVQA. Pour les laboratoires, c'est un indicateur de progression rapide. Pour les clients, c'est un moyen de comparer les modèles avant une intégration coûteuse.

Principaux paramètres du benchmark :

• 1000 exemples sélectionnés à la main ;
• 23 jeux de données sources ;
• cinq domaines : agents web, robotique, vidéo à la première personne, jeux, planification spatiale ;
• 22 modèles évalués ;
• meilleur résultat : 58,5% de précision ;
• le classement des modèles est cohérent avec les évaluations en ligne.

Où les modèles échouent : la perception, pas la logique

La partie la plus intéressante du travail est l'analyse des erreurs entre domaines. Les auteurs ont cherché à comprendre pourquoi les modèles se trompent. Ils concluent que la cause n'est ni une mauvaise compréhension de la tâche ni une logique défaillante à l'étape suivante. Le problème central est d'ancrer la question dans l'image et de conserver une représentation précise de l'état visuel actuel et de ses changements.

Concrètement, on relève quatre types d'échecs :

• repérer les éléments d'interface voulus à l'écran ;
• interpréter le mouvement ;
• suivre les changements d'état dans le temps ;
• déduire les relations spatiales en trois dimensions.

Ces quatre échecs apparaissent dans tous les domaines. Un agent web doit trouver un bouton, un robot comprendre où un objet s'est déplacé, un agent de jeu ne pas perdre de vue ce qui a changé entre deux images, et un planificateur évaluer la position relative d'objets en 3D. Ces tâches ont une racine commune : la perception reste le maillon faible.

Ce que doivent faire les équipes qui construisent des agents

Premier enseignement pratique : renforcer les capacités de raisonnement du modèle ne suffit pas s'il perçoit mal la scène en entrée. Il faut améliorer précisément l'ancrage visuel, avec des données d'entraînement offrant une localisation précise des éléments, des vidéos avec de la dynamique, des séquences d'états et un étiquetage spatial.

Second enseignement, sur le processus de développement : AgentVQA peut servir de filtre préliminaire rapide. On passe les candidats au crible hors ligne, on garde les meilleurs et on n'envoie qu'eux dans les environnements en ligne, coûteux. La corrélation avec les classements en ligne rend cette approche pertinente, même si elle ne supprime pas la validation finale en environnement réel.

Troisième enseignement, pour ceux qui choisissent un modèle pour un produit : le résultat de 58,5% du meilleur des 22 modèles montre que, sur des scénarios d'agent complexes, les VLM actuels sont loin d'être fiables. Si un agent doit cliquer dans des interfaces, piloter un robot ou planifier dans l'espace, il faudra prévoir des contrôles de la perception, des retours arrière et une intervention humaine aux étapes critiques. La ventilation des erreurs par type indique en outre où concentrer en priorité les efforts d'ingénierie.