Page Agent d'Alibaba pilote les interfaces web via le DOM, sans captures d'écran ni modèles multimodaux

Le 2 juillet 2026, Alibaba a présenté Page Agent, un agent de navigateur en JavaScript pur qui pilote les interfaces web à partir de commandes textuelles, en lisant la structure de la page via le DOM. L'agent fonctionne entièrement côté client et ne nécessite ni captures d'écran, ni modèles multimodaux, ni modification du code serveur.

Comment fonctionne Page Agent

L'agent s'intègre à la page web comme un simple script JS. Lorsqu'un utilisateur ou un système externe lui transmet une commande en langage naturel, par exemple « clique sur le bouton d'envoi du formulaire », l'agent analyse l'arbre DOM en direct : il lit les balises, les attributs, les libellés textuels et la structure d'imbrication. Sur cette base, il choisit l'élément approprié et exécute l'action : un clic, une saisie de texte ou la sélection dans une liste déroulante.

Principales caractéristiques :

• Exécution côté client : aucune requête serveur n'est nécessaire pour piloter l'interface
• Signal de contrôle : du texte ordinaire en langage naturel
• Source de données : la représentation textuelle du DOM en direct
• Actions : clics, saisie, interaction avec les éléments de formulaire
• Pas de modèle multimodal requis : un LLM textuel suffit

Pourquoi le DOM est-il préférable à une capture d'écran ?

La plupart des agents GUI actuels pour navigateur s'appuient sur la représentation visuelle de la page : ils prennent une capture d'écran, la soumettent à un modèle multimodal, récupèrent des coordonnées puis exécutent le clic. Cette approche fonctionne, mais elle présente des limites structurelles.

Les requêtes multimodales coûtent plus cher que les requêtes textuelles, tant en coût de tokens qu'en latence de réponse. Les interfaces denses aux petits éléments réduisent la précision : le modèle peut se tromper de coordonnées ou « perdre » un bouton derrière une fenêtre contextuelle. L'approche par capture dépend aussi du rendu, si bien que l'agent se comporte différemment selon la taille de la fenêtre et en mode headless.

Le contenu dynamique pose un autre problème. Si un élément apparaît quelques centaines de millisecondes après le chargement, l'agent à base de captures doit deviner le moment où la page se stabilise. Un agent DOM prend l'état actuel de l'arbre au moment de la commande et voit automatiquement le contenu récent.

L'approche DOM supprime toutes ces limites. La structure HTML de la page contient déjà de la sémantique : identifiants, rôles, libellés textuels, hiérarchie des éléments. Pour un agent textuel, trouver le « bouton de confirmation dans la fenêtre modale » est plus précis en lisant le DOM qu'en devinant l'objet à partir de pixels. L'agent se comporte de la même façon dans un Chrome classique, une WebView mobile et un navigateur headless.

Où cela s'applique

Un agent DOM donne ses meilleurs résultats là où la structure de la page est prévisible : applications web d'entreprise, systèmes CRM, panneaux d'administration et formulaires. Point essentiel, Page Agent n'a pas besoin d'accéder au code serveur ni à l'API du site hôte. Le propriétaire du service n'a rien à réécrire : il suffit d'ajouter le script de l'agent côté client.

Cela ouvre un scénario d'« intégration zéro » : un développeur ou un utilisateur final ajoute l'agent à n'importe quel site déjà en production et se met aussitôt à le piloter par commandes textuelles. Pour l'automatisation en entreprise, cela réduit sensiblement le coût de déploiement par rapport aux solutions RPA traditionnelles, qui exigent une configuration poussée pour chaque application.

Ce que cela signifie

Page Agent d'Alibaba montre que l'automatisation du navigateur n'exige pas de coûteux modèles multimodaux. Le DOM, utilisé comme source textuelle, fournit à l'agent assez d'informations pour piloter l'interface avec précision, à moindre coût et sans dépendre du rendu visuel. Si l'approche prouve sa fiabilité sur des sites réels et hétérogènes, elle pourrait imposer un nouveau standard pour les agents web légers, intégrables sans réécrire le backend et compatibles d'emblée avec n'importe quel site.