MolmoWeb-4B d'Ai2 : un agent web qui voit les sites comme un humain, sans analyser le HTML

Ai2 (Allen Institute for AI) a présenté MolmoWeb-4B, un agent web multimodal open source qui pilote le navigateur exclusivement à partir de captures d'écran, sans analyser le HTML.

La vision plutôt que l'analyse du code

La plupart des agents web travaillent avec l'arbre DOM : ils lisent le code HTML de la page, repèrent les éléments utiles et interagissent avec eux par programmation. Cette approche échoue sur les sites dynamiques, les interfaces Canvas et les pages très chargées en JavaScript.

MolmoWeb emprunte une autre voie. Le modèle reçoit une capture de l'état actuel du navigateur et voit la page comme une image, exactement comme un humain. La tâche de l'agent : comprendre ce qui se passe à l'écran et décider de la suite. Pas de HTML, pas de sélecteurs DOM, seulement des pixels et du raisonnement multimodal.

Comment fonctionne le pipeline

Sous le capot, MolmoWeb-4B est un modèle de langage multimodal de 4 milliards de paramètres, avec une quantification 4 bits. Il peut ainsi tourner sur la version gratuite de Google Colab avec un GPU T4, un point particulièrement important pour les développeurs sans matériel coûteux.

La boucle de travail de l'agent comporte cinq étapes :

• Capture d'écran de l'état actuel du navigateur
• Transmission de l'image à MolmoWeb-4B
• Raisonnement du modèle sur l'état de la page (chain-of-thought)
• Prédiction de l'action suivante : clic, saisie de texte, défilement
• Exécution de l'action et nouvelle capture d'écran

L'idée centrale du workflow de prompts est de forcer le modèle à raisonner explicitement avant d'agir. L'agent ne « voit » pas simplement « un bouton pour cliquer » : il formule ce qu'il observe précisément à l'écran, explique pourquoi il doit cliquer à cet endroit, et ne génère qu'ensuite les coordonnées ou la commande. C'est une adaptation du chain-of-thought prompting à la perception visuelle des interfaces.

Accès ouvert et mise en pratique

MolmoWeb est publié sous une licence ouverte d'Ai2, ce qui signifie que n'importe quel développeur peut déployer son propre agent web sans dépendre des API payantes d'OpenAI, de Google ou d'Anthropic. Les auteurs publient un tutoriel complet : de l'installation de l'environnement dans Colab et du chargement du modèle via Transformers jusqu'à l'intégration avec Playwright pour piloter le navigateur. La boucle de l'agent se construit de zéro : capture d'écran, transmission au modèle, analyse de la réponse, exécution de l'action.

Avantages pratiques :

• Fonctionne sans clés d'API de services externes
• Ne nécessite ni balisage spécifique du site ni extension de navigateur
• Compatible avec n'importe quel site et système d'exploitation
• La version quantifiée (4 bits) tourne sur un Colab T4
• Pipeline entièrement reproductible et en accès libre

Une réserve : pour l'instant, il s'agit d'un outil de recherche. La vitesse (une étape prend plusieurs secondes) et la précision de la prédiction des actions restent inférieures à celles des agents spécialisés disposant d'un accès direct au DOM.

Contexte : la course aux agents de navigateur

Les agents de navigateur comptent parmi les axes les plus actifs du développement de l'IA en 2025–2026. Anthropic Computer Use, Google Project Mariner, OpenAI Operator : les grands acteurs s'activent pour que les modèles d'IA puissent utiliser un ordinateur à la place d'un humain. MolmoWeb, d'Ai2, occupe sa propre niche : entièrement ouvert, reproductible et capable de tourner sur du matériel grand public. Ce n'est pas un concurrent direct des solutions d'entreprise, mais un outil pour les chercheurs et développeurs qui veulent construire eux-mêmes leurs agents.

Ce que cela signifie

Un agent de navigateur ouvert de 4B de paramètres, exécutable dans Colab, abaisse le seuil d'entrée pour les tâches d'automatisation web. Les équipes sans budget d'entreprise obtiennent un outil fonctionnel pour expérimenter avec des agents guidés par la vision plutôt que par le balisage du code.