Pourquoi les modèles multimodaux ne voient pas les interfaces web

Deux stratégies ratées

Aujourd'hui, les modèles multimodaux interagissent avec les sites web de deux manières. La première consiste à lire le code source : HTML, CSS, JavaScript, backend. La seconde consiste à regarder des captures d'écran. En pratique, les deux approches sont inefficaces.

Le code ne montre pas la réalité. À partir du balisage source, le modèle ne peut pas savoir où se trouvent les éléments après le rendu, s'ils se chevauchent, ou si un bouton est sorti de l'écran. Le code ne permet pas non plus de voir qu'un élément existe dans le balisage mais reste inaccessible à l'utilisateur. On peut étendre le contexte jusqu'à un million de tokens, cela ne donnera jamais l'interface dans son état réel.

Les captures d'écran résolvent une partie du problème, mais au prix d'une surconsommation totale. Une seule image ne suffit pas. Il faut différentes tailles de fenêtre d'affichage (viewport), différents états des éléments, le survol du curseur (hover), le focus, les fenêtres modales, les processus de chargement, les changements dynamiques. Une compréhension complète peut même nécessiter des vidéos. Une tâche que le navigateur comprend déjà comme une structure d'éléments, leur géométrie et leurs états, se transforme en une lourde analyse de pixels — coûteuse et inefficace.

Comment l'humain voit

Nous regardons un site différemment. Nous distinguons presque instantanément le texte, l'arrière-plan, les boutons, les bordures, les champs de saisie, les menus, les fenêtres modales. Au survol, nous percevons les changements interactifs : la couleur du bouton change, un retour visuel apparaît. Nous n'avons besoin de reconstruire l'interface ni à partir du code, ni à partir des pixels.

Nous voyons la structure. Nous voyons un ovale avec le texte « se connecter » — et comprenons immédiatement qu'il s'agit d'un bouton. Nous voyons les contours des blocs et la hiérarchie des éléments. Tout cela ne nécessite pas d'analyser chaque pixel ni d'étudier tous les styles et le balisage.

Une troisième couche de perception

Les modèles multimodaux doivent voir de la même façon. Les interfaces ne doivent pas être pour eux un simple code ou une image, mais une représentation structurée, apte à comprendre une page, vérifier la mise en page et interagir avec l'UI.

Il n'est pas nécessaire d'abandonner les transformeurs. Les modèles ont besoin d'un nouveau module de perception intégré — une façon de voir l'interface comme une structure d'éléments, leurs états, leur visibilité et leur géométrie. Pas sous forme d'une « main » temporaire que l'agent réécrit chaque fois comme un script, mais comme un mode de perception fondamental.

Un tel module permettrait de résoudre un large éventail de tâches — de l'analyse d'interfaces au développement, de la vérification de la mise en page à l'automatisation — tout en restant universel. Il ne s'agit pas de vendre une solution clé en main, mais de poser clairement le problème : les modèles multimodaux disposent d'un outil grossier pour traiter les interfaces et ont besoin d'un mode de perception plus spécialisé.