Page Agent do Alibaba Gerencia Interfaces Web via DOM Sem Screenshots e Modelos Multimodais

A Alibaba apresentou o Page Agent em 2 de julho de 2026 — um agente de navegador escrito em JavaScript puro que controla interfaces web através de comandos de texto, lendo a estrutura da página via DOM. O agente opera totalmente no lado do cliente e não requer capturas de tela, modelos multimodais ou mudanças no código do servidor.

Como funciona o Page Agent

O agente é incorporado em uma página web como um script JavaScript comum. Quando um usuário ou sistema externo envia um comando em linguagem natural — por exemplo, "clique no botão de envio do formulário" — o agente analisa a árvore DOM ao vivo: ele lê tags, atributos, rótulos de texto e estrutura de aninhamento. Com base nesta análise, ele seleciona o elemento necessário e executa uma ação: clique, entrada de texto ou seleção em dropdown.

Características principais:

• Execução no lado do cliente — nenhuma solicitação de servidor necessária para controlar a UI
• Sinal de controle — texto em linguagem natural simples
• Fonte de dados — representação textual do DOM ao vivo
• Ações — cliques, entrada, interação com elementos de formulário
• Nenhum modelo multimodal necessário — um LLM baseado em texto é suficiente

Por que o DOM é melhor que capturas de tela

A maioria dos agentes GUI modernos para navegadores funciona através da representação visual da página: tirar uma captura de tela, enviar a imagem para um modelo multimodal, recuperar coordenadas, executar um clique. Esta abordagem funciona, mas tem limitações fundamentais.

Solicitações multimodais são mais caras que solicitações de texto — tanto em custos de tokens quanto em latência de resposta. Interfaces densas com elementos pequenos reduzem a precisão: o modelo pode identificar incorretamente as coordenadas ou "perder" um botão atrás de uma camada popup. A abordagem de captura de tela também depende da renderização — o agente se comporta de forma diferente em diferentes tamanhos de janela e em modo headless.

Um problema adicional é o conteúdo dinâmico. Se um elemento aparece centenas de milissegundos após o carregamento da página, um agente baseado em captura de tela deve adivinhar o momento de estabilização. Um agente DOM recupera o estado atual da árvore no momento do comando e vê conteúdo atualizado automaticamente.

A abordagem DOM elimina todas essas limitações. A estrutura HTML da página já contém semântica — identificadores, funções, rótulos de texto, hierarquia de elementos. Um agente de texto pode encontrar com mais precisão "o botão de confirmação na janela modal" lendo o DOM do que adivinhar um objeto a partir de pixels. O agente funciona igualmente bem no Chrome comum, WebView móvel e navegadores headless.

Onde isto é aplicável

O agente DOM mostra os melhores resultados onde a estrutura da página é previsível: aplicações web empresariais, sistemas CRM, painéis administrativos, formulários. É fundamentalmente importante que o Page Agent não requer acesso ao código do servidor ou à API do site host. O proprietário do serviço não precisa reescrever nada — simplesmente conectar o script do agente no lado do cliente é suficiente.

Isso abre um cenário de "integração zero": um desenvolvedor ou usuário final adiciona o agente a qualquer site já em funcionamento e imediatamente começa a controlá-lo com comandos de texto. Para automação empresarial, isso reduz significativamente os custos de implementação em comparação com soluções RPA tradicionais que requerem personalização profunda para cada aplicação específica.

O que isto significa

O Page Agent da Alibaba demonstra que a automação de navegador não requer modelos multimodais caros. O DOM como fonte de texto fornece ao agente informações suficientes para controle preciso da interface — com custos menores e sem dependência de renderização visual. Se essa abordagem se mostrar confiável em sites do mundo real diversos, ela pode estabelecer um novo padrão para agentes web leves — incorporáveis sem reescrita de backend e compatíveis com qualquer site pronto para uso.