La ilusión de la visión: por qué los modelos multimodales fracasan ante las interfaces web

La carrera por crear inteligencia artificial general (AGI) empuja a la industria hacia arquitecturas cada vez más grandes y universales. Hemos enseñado a los modelos a razonar, a escribir código complejísimo, a imitar la voz humana y a generar imágenes fotorrealistas. Parece que solo falta un paso para tener agentes digitales completos, capaces de hacer cualquier trabajo en un ordenador.

Sin embargo, tras las presentaciones llamativas se esconde un obstáculo de ingeniería fundamental: los modelos multimodales actuales siguen sin saber interactuar con eficacia con las interfaces de usuario. Lo que para una persona es un conjunto intuitivo de botones y campos, para un algoritmo se convierte en un flujo de datos excesivo, cuyo procesamiento resulta demasiado caro y funciona de forma muy inestable.

El origen del problema está en la brecha entre cómo percibe la información la IA y cómo está diseñada la internet actual. Hoy existen dos enfoques principales para que un modelo «vea» un sitio web. El primero consiste en alimentarlo con el código fuente: el marcado HTML, los estilos CSS y la lógica JavaScript.

El segundo es el análisis visual de capturas de pantalla, o incluso de una secuencia de fotogramas parecida a una presentación de diapositivas. Ambos métodos, pese a su difusión, son parches que dejan al descubierto las imperfecciones de las arquitecturas actuales. Las tareas de backend se pueden automatizar mediante aprendizaje por refuerzo en entornos cerrados.

El frontend, en cambio, sigue siendo un entorno caótico y cambiante, donde la más mínima desviación en los estilos puede paralizar por completo incluso al agente más avanzado.

Si se examinan los detalles técnicos, se entiende por qué leer código es un callejón sin salida para los servicios de uso masivo. El maquetado moderno está sobrecargado de marcado superfluo, scripts de servicio e infinitos elementos anidados que no aportan ningún significado a la acción final. El modelo se ve obligado a gastar su ventana de contexto en estudiar miles de líneas de código para encontrar un único enlace activo.

El enfoque visual, basado en el análisis de píxeles, sufre otro mal: el exceso de ruido. Para el ojo humano, el botón «Iniciar sesión» sigue siendo un botón, sea rectangular u ovalado, azul o verde. Reconocemos al instante su esencia funcional.

Para una red neuronal, en cambio, es una matriz de millones de píxeles donde cada matiz de gris del fondo o cada sombra bajo un elemento genera carga computacional sin aportar información útil. Intentar que el modelo aprenda una «representación interna» de la interfaz solo a través de la visión requiere volúmenes colosales de datos y de capacidad de cómputo, lo que hace que estas soluciones resulten prohibitivamente caras para las empresas.

Las consecuencias de esta ineficiencia van mucho más allá de la ingeniería pura. La fragilidad actual de los modelos al trabajar con interfaces implica que no podemos confiar a agentes autónomos procesos críticos en tiempo real. Si un pequeño cambio en el diseño de un sitio rompe la lógica de la IA, estos sistemas no pasan de ser juguetes o herramientas muy especializadas que requieren supervisión humana constante.

Además, el alto coste de cada solicitud, derivado de la necesidad de analizar capturas «pesadas» o enormes volúmenes del árbol DOM, frena la adopción masiva de asistentes de IA. Estamos atrapados en un paradigma en el que el modelo intenta o bien imitar la visión humana sin entender la estructura, o bien analizar la estructura sin entender la semántica visual.

En definitiva, la industria necesita un enfoque radicalmente nuevo para construir la representación interna de los datos sobre interfaces. En lugar de obligar a las redes neuronales a hurgar en la basura de las etiquetas HTML o a analizar cada píxel ruidoso de la pantalla, hay que crear una capa intermedia: un protocolo semántico nativo. Debería ser una representación compacta pero informativa, que transmita al modelo la esencia de los elementos de la UI y le ahorre cálculos innecesarios.

Los agentes digitales solo saldrán de la fase de eternos prototipos y se convertirán en herramientas realmente útiles cuando dejemos de intentar enseñar a la IA a ver un sitio con «ojos» o con «código» y le demos una forma de entender directamente la arquitectura funcional. Hasta entonces, la multimodalidad seguirá siendo una imitación cara y tosca de la visión, que fracasa ante un simple botón en una página web.