Por qué los modelos multimodales no logran ver las interfaces web

Dos estrategias fallidas

Hoy los modelos multimodales interactúan con los sitios web de dos maneras. La primera es leer el código fuente: HTML, CSS, JavaScript, backend. La segunda es observar capturas de pantalla. En la práctica, ambos enfoques resultan ineficientes.

El código no refleja la realidad. A partir del marcado fuente, el modelo no puede saber dónde quedan los elementos tras el renderizado, si se superponen entre sí, o si un botón se ha desplazado fuera de la pantalla. El código no muestra que un elemento existe en el marcado pero resulta inaccesible para el usuario. Se puede ampliar el contexto hasta un millón de tokens, pero el código sigue sin ofrecer la interfaz en su estado real.

Las capturas de pantalla resuelven parte del problema, pero a costa de un gasto desmedido. Un solo fotograma no basta. Se necesitan distintos tamaños de ventana de visualización (viewport), diferentes estados de los elementos, el paso del cursor (hover), el foco (focus), ventanas modales, procesos de carga, cambios dinámicos. Para una comprensión completa pueden hacer falta incluso videos. Una tarea que el navegador ya entiende como estructura de elementos, su geometría y sus estados, se convierte en un pesado análisis de píxeles: caro e ineficiente.

Cómo ve el ser humano

Nosotros miramos un sitio web de otra manera. Casi al instante distinguimos el texto, el fondo, los botones, los bordes, los campos de entrada, los menús, las ventanas modales. Al pasar el cursor vemos cambios interactivos: el color de un botón cambia, aparece una respuesta visual. No necesitamos reconstruir la interfaz ni a partir del código ni de los píxeles.

Vemos estructura. Vemos un óvalo con el texto "iniciar sesión" y de inmediato entendemos que es un botón. Vemos los límites de los bloques y la jerarquía de los elementos. Para todo esto no es necesario analizar cada píxel ni estudiar todos los estilos y el marcado.

Una tercera capa de percepción

Los modelos multimodales deben ver de la misma manera. Las interfaces no deberían ser para ellos solo código o una imagen, sino una representación estructurada apta para entender la página, verificar la maquetación e interactuar con la interfaz de usuario.

No es necesario renunciar a los transformers. Los modelos necesitan un nuevo módulo de percepción integrado: una forma de ver la interfaz como una estructura de elementos, sus estados, su visibilidad y su geometría. No como una "mano" temporal que el agente reescribe cada vez como un script, sino como un modo fundamental de percepción.

Un módulo así permitiría resolver un amplio abanico de tareas —desde el análisis de interfaces hasta el desarrollo, desde la verificación de la maquetación hasta la automatización— manteniéndose a la vez universal. No se trata de un intento de vender una solución ya terminada, sino de nombrar el problema: los modelos multimodales cuentan con una herramienta tosca para trabajar con interfaces y necesitan una forma de percepción más especializada.