Page Agent de Alibaba controla interfaces web a través del DOM, sin capturas de pantalla ni modelos multimodales

El 2 de julio de 2026, Alibaba presentó Page Agent, un agente de navegador en JavaScript puro que controla interfaces web a partir de comandos de texto leyendo la estructura de la página a través del DOM. El agente funciona íntegramente en el lado del cliente y no requiere capturas de pantalla, modelos multimodales ni cambios en el código del servidor.

Cómo funciona Page Agent

El agente se incorpora a la página web como un script JS corriente. Cuando un usuario o un sistema externo le pasa un comando en lenguaje natural, por ejemplo «pulsa el botón de envío del formulario», el agente analiza el árbol DOM en vivo: lee etiquetas, atributos, textos y la estructura de anidación. Con ese análisis elige el elemento adecuado y ejecuta la acción: un clic, introducir texto o seleccionar una opción de una lista desplegable.

Características principales:

• Ejecución en el lado del cliente: no hacen falta peticiones al servidor para controlar la interfaz
• Señal de control: texto corriente en lenguaje natural
• Fuente de datos: representación textual del DOM en vivo
• Acciones: clics, escritura, interacción con elementos de formulario
• No requiere modelo multimodal: basta con un LLM de texto

¿Por qué el DOM es mejor que una captura de pantalla?

La mayoría de los agentes GUI actuales para el navegador trabajan con la representación visual de la página: hacen una captura, pasan la imagen a un modelo multimodal, obtienen coordenadas y ejecutan el clic. Este enfoque funciona, pero tiene limitaciones sistémicas.

Las peticiones multimodales son más caras que las de texto, tanto en coste de tokens como en latencia de respuesta. Las interfaces densas con elementos pequeños reducen la precisión: el modelo puede equivocarse con las coordenadas o «perder» un botón tras una capa de ventana emergente. El enfoque basado en capturas también depende del renderizado, así que el agente se comporta de forma distinta con diferentes tamaños de ventana y en modo headless.

El contenido dinámico es otro problema. Si un elemento aparece unos cientos de milisegundos después de la carga, el agente basado en capturas tiene que adivinar cuándo se estabiliza la página. Un agente DOM toma el estado actual del árbol en el momento del comando y ve el contenido nuevo automáticamente.

El enfoque DOM elimina todas estas limitaciones. La estructura HTML de la página ya contiene semántica: identificadores, roles, etiquetas de texto y jerarquía de elementos. Para un agente de texto es más preciso encontrar el «botón de confirmación de la ventana modal» leyendo el DOM que adivinando el objeto a partir de píxeles. El agente funciona igual en Chrome normal, en un WebView móvil y en un navegador headless.

Dónde es aplicable

Un agente DOM rinde mejor donde la estructura de la página es predecible: aplicaciones web corporativas, sistemas CRM, paneles de administración y formularios. Lo fundamental es que Page Agent no necesita acceso al código de servidor ni a la API del sitio anfitrión. El propietario del servicio no tiene que reescribir nada: basta con añadir el script del agente en el lado del cliente.

Esto abre un escenario de «integración cero»: un desarrollador o un usuario final añade el agente a cualquier sitio que ya esté en funcionamiento y empieza a controlarlo de inmediato con comandos de texto. Para la automatización corporativa, esto reduce de forma notable el coste de implantación frente a las soluciones RPA tradicionales, que exigen una configuración profunda para cada aplicación concreta.

Qué significa

Page Agent de Alibaba demuestra que la automatización del navegador no requiere costosos modelos multimodales. El DOM como fuente de texto da al agente información suficiente para controlar la interfaz con precisión, con menor coste y sin depender del renderizado visual. Si el enfoque demuestra fiabilidad en sitios reales y heterogéneos, podría fijar un nuevo estándar para agentes web ligeros, integrables sin reescribir el backend y compatibles con cualquier sitio desde el primer momento.