Microsoft Research publie Webwright, un agent de navigateur qui résout 60% des tâches web

Microsoft Research a dévoilé Webwright, un framework pour agents de navigateur qui accomplit les tâches web complexes avec presque deux fois plus de succès que les modèles de langage de base.

Comment fonctionne Webwright

Il s'agit d'un agent qui travaille dans le terminal et automatise l'interaction avec le navigateur. La différence clé : au lieu de l'approche habituelle du click-trace (le système enregistre une séquence de clics et de coordonnées), Webwright génère et exécute des scripts Playwright, un framework puissant pour l'automatisation programmatique du navigateur.

Le framework est simple : environ 1000 lignes de code et trois modules fonctionnant dans une seule boucle d'agent. Ce design minimaliste paraît naïf au premier abord, mais les résultats se sont révélés impressionnants. Plutôt que de générer des clics point par point, l'agent analyse la structure du DOM et écrit les scripts nécessaires.

Résultats sur les benchmarks

Sur Odysseys (qui teste l'exécution de longues tâches web dans un vrai navigateur), Webwright avec GPT-5.4 atteint 60.1%. C'est le double des 33.5% du modèle de base seul. Sur le benchmark plus simple Online-Mind2Web, le score est encore plus élevé : 86.7%. À noter : c'est le meilleur résultat parmi toutes les recettes de harness open source.

Ce doublement ne vient ni d'astuces spéciales ni de solutions codées en dur. C'est la conséquence directe d'une boucle d'agent bien conçue et d'une exploitation efficace des capacités de GPT-5.4.

• Benchmark Odysseys : 60.1% (contre 33.5% pour le modèle de base)
• Online-Mind2Web : 86.7% (record parmi les solutions open source)
• Taille du framework : ~1000 lignes de code
• Architecture : trois modules dans une seule boucle
• Modèle : GPT-5.4 (standard, sans fine-tuning)

Pourquoi ça marche

Les agents de navigateur ont longtemps reposé sur des séquences click-trace ou exigé de très gros modèles de langage. Webwright montre une troisième voie : la bonne architecture, avec des scripts Playwright comme langage intermédiaire, apporte un gain de qualité important.

De plus, Playwright permet à l'agent de travailler directement avec le DOM, ce qui est plus fiable que de s'appuyer sur la vision par ordinateur. Quand un site change, le script peut s'adapter, car il voit la structure de la page et pas seulement les pixels.

Ce que cela change pour le marché

Les agents de navigateur gagnent en maturité. Microsoft Research a présenté son approche, tandis qu'OpenAI (Operator), Anthropic (Computer Use) et d'autres avancent en parallèle. Le marché de l'automatisation web commence tout juste à se former : remplissage de formulaires, comparaison de prix, commande de services, gestion d'abonnements.

Webwright démontre qu'il n'est pas nécessaire d'attendre un supermodèle pour obtenir de bons résultats : la bonne architecture et des modules simples peuvent multiplier la qualité.