Page Agent d'Alibaba Gère les Interfaces Web via DOM Sans Captures d'Écran et Modèles Multimodaux

Alibaba a présenté Page Agent le 2 juillet 2026 — un agent navigateur écrit en JavaScript pur qui contrôle les interfaces web via des commandes textuelles en lisant la structure de la page via le DOM. L'agent fonctionne entièrement côté client et ne nécessite pas de captures d'écran, de modèles multimodaux ou de modifications du code serveur.

Comment fonctionne Page Agent

L'agent est intégré dans une page web en tant que script JavaScript ordinaire. Quand un utilisateur ou un système externe envoie une commande en langage naturel — par exemple, « cliquez sur le bouton d'envoi du formulaire » — l'agent analyse l'arborescence DOM en direct : il lit les balises, les attributs, les étiquettes de texte et la structure d'imbrication. Sur la base de cette analyse, il sélectionne l'élément requis et exécute une action : clic, saisie de texte ou sélection dans une liste déroulante.

Caractéristiques clés :

• Exécution côté client — aucune requête serveur nécessaire pour contrôler l'UI
• Signal de contrôle — texte en langage naturel simple
• Source de données — représentation textuelle du DOM en direct
• Actions — clics, saisie, interaction avec les éléments de formulaire
• Aucun modèle multimodal requis — un LLM basé sur du texte suffit

Pourquoi le DOM est meilleur que les captures d'écran ?

La plupart des agents GUI modernes pour navigateurs fonctionnent via la représentation visuelle de la page : faire une capture d'écran, envoyer l'image à un modèle multimodal, obtenir les coordonnées, exécuter un clic. Cette approche fonctionne, mais a des limitations fondamentales.

Les requêtes multimodales sont plus coûteuses que les requêtes textuelles — tant en termes de coûts de tokens qu'en termes de latence de réponse. Les interfaces denses avec de petits éléments réduisent la précision : le modèle peut mal identifier les coordonnées ou « perdre » un bouton derrière une couche contextuelle. L'approche par capture d'écran dépend aussi du rendu — l'agent se comporte différemment à différentes tailles de fenêtre et en mode headless.

Un problème supplémentaire est le contenu dynamique. Si un élément apparaît des centaines de millisecondes après le chargement de la page, un agent basé sur des captures d'écran doit deviner le moment de la stabilisation. Un agent DOM récupère l'état actuel de l'arborescence au moment de la commande et voit le contenu frais automatiquement.

L'approche DOM élimine toutes ces limitations. La structure HTML de la page contient déjà la sémantique — les identifiants, les rôles, les étiquettes de texte, la hiérarchie des éléments. Un agent textuel peut trouver avec plus de précision « le bouton de confirmation dans la fenêtre modale » en lisant le DOM qu'en devinant un objet à partir des pixels. L'agent fonctionne tout aussi bien dans Chrome ordinaire, WebView mobile et les navigateurs headless.

Où ceci est applicable

L'agent DOM donne les meilleurs résultats où la structure de la page est prévisible : applications web d'entreprise, systèmes CRM, panneaux d'administration, formulaires. Il est fondamentalement important que Page Agent ne nécessite pas d'accès au code serveur ni à l'API du site hôte. Le propriétaire du service n'a rien à réécrire — il suffit de connecter le script de l'agent côté client.

Ceci ouvre un scénario « d'intégration zéro » : un développeur ou un utilisateur final ajoute l'agent à n'importe quel site déjà en fonctionnement et commence immédiatement à le contrôler avec des commandes textuelles. Pour l'automatisation d'entreprise, cela réduit considérablement les coûts de mise en œuvre par rapport aux solutions RPA traditionnelles qui nécessitent une personnalisation approfondie pour chaque application spécifique.

Ce que cela signifie

Page Agent d'Alibaba montre que l'automatisation des navigateurs n'exige pas de modèles multimodaux coûteux. Le DOM comme source de texte fournit à l'agent suffisamment d'informations pour un contrôle précis de l'interface — avec des coûts réduits et sans dépendre du rendu visuel. Si cette approche s'avère fiable sur des sites web réels et variés, elle pourrait établir une nouvelle norme pour les agents web légers — intégrables sans réécriture du backend et compatibles avec n'importe quel site immédiatement.