L'illusion de la vision : pourquoi les modèles multimodaux buttent sur les interfaces web

La course à l'intelligence artificielle forte (AGI) pousse l'industrie vers des architectures toujours plus massives et plus universelles. Nous avons appris aux modèles à raisonner, à écrire du code très complexe, à imiter la voix humaine et à générer des images photoréalistes. Il semble ne manquer qu'un pas avant l'arrivée d'agents numériques à part entière, capables d'accomplir n'importe quel travail sur un ordinateur.

Pourtant, derrière les présentations spectaculaires se cache un obstacle d'ingénierie fondamental : les modèles multimodaux actuels ne savent toujours pas interagir efficacement avec les interfaces utilisateur. Ce qui constitue pour un humain un ensemble intuitif de boutons et de champs devient pour un algorithme un flux de données surabondant, dont le traitement coûte trop cher et fonctionne de manière très instable.

Le problème tient à l'écart entre la façon dont l'IA perçoit l'information et la façon dont le web moderne est conçu. Il existe aujourd'hui deux grandes approches pour faire « voir » un site web à un modèle. La première consiste à lui fournir le code source : balisage HTML, styles CSS et logique JavaScript.

La seconde repose sur l'analyse visuelle de captures d'écran, voire d'une séquence d'images qui rappelle un diaporama. Malgré leur large diffusion, ces deux méthodes relèvent du bricolage et révèlent les limites des architectures actuelles. Les tâches de back-end se prêtent à l'automatisation par apprentissage par renforcement dans des environnements fermés.

Le front-end, lui, reste un milieu chaotique et changeant, où le moindre écart de style peut paralyser complètement l'agent le plus avancé.

En entrant dans les détails techniques, on comprend pourquoi la lecture du code est une impasse pour les services grand public. Le balisage moderne est surchargé de code superflu, de scripts utilitaires et d'une infinité d'éléments imbriqués qui n'apportent aucune information utile à l'action finale. Le modèle doit consacrer sa fenêtre de contexte à parcourir des milliers de lignes de code pour trouver un seul lien actif.

L'approche visuelle, fondée sur l'analyse des pixels, souffre d'un autre mal : un bruit excessif. Pour l'œil humain, un bouton « Se connecter » reste un bouton, qu'il soit rectangulaire ou ovale, bleu ou vert. Nous en reconnaissons instantanément la fonction.

Pour un réseau de neurones, il s'agit d'une matrice de millions de pixels, où chaque nuance de gris du fond et chaque ombre sous un élément génèrent une charge de calcul sans apporter d'information utile. Entraîner un modèle à une « représentation interne » de l'interface par la seule vision exige des volumes colossaux de données et de puissance de calcul, ce qui rend ces solutions prohibitives pour les entreprises.

Les conséquences de cette inefficacité dépassent largement le cadre de l'ingénierie. La fragilité actuelle des modèles face aux interfaces signifie que l'on ne peut pas confier à des agents autonomes des processus critiques en temps réel. Si une petite modification du design d'un site casse la logique de l'IA, ces systèmes ne restent que des jouets ou des outils très spécialisés, soumis à la supervision constante d'un humain.

De plus, le coût élevé de chaque requête, imposé par l'analyse de captures d'écran « lourdes » ou d'énormes arbres DOM, freine le déploiement massif des assistants IA. Nous sommes coincés dans un paradigme où le modèle tente soit d'imiter la vision humaine sans comprendre la structure, soit d'analyser la structure sans comprendre la sémantique visuelle.

Au final, l'industrie a besoin d'une approche radicalement nouvelle pour construire la représentation interne des données d'interface. Plutôt que d'obliger les réseaux de neurones à fouiller dans un fatras de balises HTML ou à analyser chaque pixel bruité de l'écran, il faut créer une couche intermédiaire : un protocole sémantique natif. Il s'agirait d'une représentation compacte mais riche en informations, qui transmet au modèle l'essence des éléments d'UI et lui épargne les calculs superflus.

Ce n'est que lorsque nous cesserons de vouloir apprendre à l'IA à voir un site « avec des yeux » ou « avec du code », et que nous lui donnerons un moyen de comprendre directement l'architecture fonctionnelle, que les agents numériques pourront sortir de l'éternel stade du prototype et devenir des outils réellement utiles entre nos mains. En attendant, la multimodalité reste une imitation coûteuse et grossière de la vision, qui butte sur un simple bouton d'une page web.