WebAnything copie seul 244 sites pour entraîner des agents web

Pour apprendre à un agent IA à utiliser des sites web, il faut un terrain d'entraînement où il peut cliquer, se tromper et repartir de zéro. Le web réel ne convient pas : l'état ne se réinitialise pas, le résultat ne se reproduit pas, et un clic de trop peut passer une vraie commande. Des chercheurs de la Nanyang Technological University et de l'entreprise Shanghai Qiji Zhifeng présentent WebAnything. Le système prend l'adresse d'un site ordinaire et assemble seul sa copie locale fonctionnelle, sans mise au point manuelle site par site. La collection compte aujourd'hui 244 copies, réparties dans 14 domaines et 53 catégories. 12 984 tâches validées pour des agents y sont rattachées.

Les limites des approches existantes

Les auteurs décrivent trois approches, chacune avec sa faiblesse.

• Les copies réalisées par des humains. Elles sont fidèles et maîtrisées, mais chaque site exige un travail d'ingénierie dédié. Exemple : WebHarbor, dont les copies sont produites par des humains avec un agent de code.
• La génération d'un site à partir d'une description. Elle passe bien à l'échelle, mais le résultat peut s'éloigner du vrai site.
• L'enregistrement et la relecture. L'apparence est conservée, mais l'agent ne peut pas sortir du périmètre déjà enregistré.

WebAnything cherche à combiner le meilleur de chacune : automatisation, fidélité à l'original et liberté d'action.

Un agent construit, l'autre vérifie

Le système n'a pas accès au code serveur du site, seulement à ce que le navigateur affiche. Le premier agent IA, le binôme Explorer–Builder, parcourt les pages et rassemble des preuves : structure de la page, styles, géométrie des éléments, captures d'écran, polices et images. L'essentiel de la collecte tient dans les enregistrements « avant et après » chaque action. Un menu fermé et un menu déployé à la même adresse comptent comme deux états distincts. À partir de ces données, l'agent écrit le code : pages, routes et transitions entre états.

Un second agent IA, vérificateur indépendant, prend ensuite le relais. Il reçoit la version figée et, dans une session distincte, rejoue les pages, les éléments, les scénarios et la persistance des données. Il compare le résultat aux enregistrements de l'original. Il n'a pas le droit de modifier le code : seul le constructeur le fait.

Un écart constaté suit l'un de ces deux chemins :

• Si les données suffisent et que la copie s'est trompée, le constructeur reçoit une description précise : ce qui a été fait, ce qui était attendu, ce qui a été obtenu. Il corrige ensuite le code localement.
• Si les données manquent, le système retourne sur l'original et complète la collecte.

Après chaque correction, la version est de nouveau figée puis revérifiée. Exemple tiré de l'article : dans Figma, le champ de commentaire sur le canevas était mal placé et son apparence différait. Le constructeur a modifié le balisage et les styles, puis le vérificateur a confirmé la position et la visibilité.

La copie terminée est livrée avec des données initiales fixes, une réinitialisation de l'état et une vérification du résultat. On peut la rejouer autant de fois que nécessaire.

Ce que montrent les mesures

Pour 85 sites de la collection historique, aucune implémentation manuelle, aucun débogage ni aucune réparation par site n'est enregistré. Seuls une configuration initiale et une authentification sont nécessaires. Les auteurs ont comptabilisé le coût des appels au modèle pour 84 sites et présentent le total comme une borne inférieure.

La qualité a été comparée à WebHarbor sur cinq sites et 14 états de pages. WebAnything l'emporte sur les trois métriques automatiques : correspondance des pixels, similarité structurelle SSIM et précision textuelle Text F1. Dans l'évaluation à l'aveugle par trois annotateurs, le bilan est de 12 victoires, deux égalités et aucune défaite. Les auteurs ont par ailleurs examiné 18 écarts sur six sites : tous ont été confirmés et corrigés.

L'utilité pour l'entraînement a été testée sur le modèle Qwen3.5-9B. Il a été affiné sur 5 856 trajectoires (60 517 exemples étape par étape, 473 pas d'entraînement). Gain sur trois benchmarks externes :

• REAL, benchmark sur des copies de sites contrôlées : +9,9 pp de tâches réussies.
• Odysseys-Easy : +6,25 pp sur la grille d'évaluation et +6,32 pp sur la part de tâches accomplies.
• WebArena-Verified : +13,33 pp de taux de réussite global.

Les 6 812 nouvelles tâches, sur 229 sites, n'ont pas servi à ce fine-tuning.

Ce que cela change en pratique

Pour les équipes qui développent des agents web, l'essentiel est que la copie de sites cesse d'être un travail manuel. Un scénario du type « cent boutiques, banques et gestionnaires de tâches différents » se heurtait jusqu'ici au nombre d'heures de travail humain. Il devient désormais une question de budget d'appels au modèle.

Des limites existent aussi. Un site n'est copié que dans le périmètre annoncé. La logique serveur cachée n'est reconstituée qu'à partir du comportement observable. Le gain a été mesuré sur un seul petit modèle et avec un harnais d'agent fixe. Rien ne garantit le même effet sur d'autres modèles ni sur d'autres tâches.