Page Agent de Alibaba Gestiona Interfaces Web vía DOM sin Capturas de Pantalla y Modelos Multimodales

Alibaba presentó Page Agent el 2 de julio de 2026 — un agente de navegador escrito en JavaScript puro que controla interfaces web a través de comandos de texto, leyendo la estructura de la página mediante DOM. El agente opera completamente en el lado del cliente y no requiere capturas de pantalla, modelos multimodales o cambios en el código del servidor.

Cómo funciona Page Agent

El agente se integra en una página web como un script JavaScript común. Cuando un usuario o sistema externo envía un comando en lenguaje natural — por ejemplo, "haz clic en el botón de envío del formulario" — el agente analiza el árbol DOM en vivo: lee etiquetas, atributos, rótulos de texto y estructura de anidamiento. Basándose en este análisis, selecciona el elemento necesario y ejecuta una acción: clic, entrada de texto o selección en un desplegable.

Características clave:

• Ejecución en el lado del cliente — no se necesitan solicitudes al servidor para controlar la UI
• Señal de control — texto en lenguaje natural simple
• Fuente de datos — representación textual del DOM en vivo
• Acciones — clics, entrada, interacción con elementos de formulario
• No requiere modelo multimodal — un LLM basado en texto es suficiente

¿Por qué DOM es mejor que capturas de pantalla?

La mayoría de los agentes GUI modernos para navegadores funcionan a través de la representación visual de la página: hacer una captura de pantalla, enviar la imagen a un modelo multimodal, obtener coordenadas, ejecutar un clic. Este enfoque funciona, pero tiene limitaciones fundamentales.

Las solicitudes multimodales son más costosas que las solicitudes de texto — tanto en costos de tokens como en latencia de respuesta. Las interfaces densas con elementos pequeños reducen la precisión: el modelo puede identificar incorrectamente las coordenadas u "ocultar" un botón detrás de una capa emergente. El enfoque de captura de pantalla también depende de la renderización — el agente se comporta de manera diferente con diferentes tamaños de ventana y en modo headless.

Un problema adicional es el contenido dinámico. Si un elemento aparece cientos de milisegundos después de la carga de la página, un agente basado en capturas de pantalla debe adivinar el momento de estabilización. Un agente DOM obtiene el estado actual del árbol en el momento del comando y ve contenido actualizado automáticamente.

El enfoque DOM elimina todas estas limitaciones. La estructura HTML de la página ya contiene semántica — identificadores, roles, etiquetas de texto, jerarquía de elementos. Un agente de texto puede encontrar con más precisión "el botón de confirmación en la ventana modal" leyendo el DOM que adivinando un objeto a partir de píxeles. El agente funciona igual de bien en Chrome regular, WebView móvil y navegadores headless.

Dónde es aplicable esto

El agente DOM muestra los mejores resultados donde la estructura de la página es predecible: aplicaciones web empresariales, sistemas CRM, paneles administrativos, formularios. Es fundamental que Page Agent no requiera acceso al código del servidor ni a la API del sitio anfitrión. El propietario del servicio no necesita reescribir nada — simplemente conectar el script del agente en el lado del cliente es suficiente.

Esto abre un escenario de "integración cero": un desarrollador o usuario final agrega el agente a cualquier sitio ya en funcionamiento y comienza inmediatamente a controlarlo con comandos de texto. Para la automatización empresarial, esto reduce significativamente los costos de implementación en comparación con las soluciones RPA tradicionales que requieren una personalización profunda para cada aplicación específica.

Lo que esto significa

Page Agent de Alibaba demuestra que la automatización de navegadores no requiere modelos multimodales costosos. El DOM como fuente de texto proporciona al agente información suficiente para un control preciso de la interfaz — con costos menores y sin dependencia de la renderización visual. Si este enfoque demuestra ser confiable en sitios web reales diversificados, podría establecer un nuevo estándar para agentes web ligeros — integrable sin reescritura de backend y compatible con cualquier sitio de forma inmediata.