Page Agent, da Alibaba, controla interfaces web pelo DOM, sem capturas de tela nem modelos multimodais

Em 2 de julho de 2026, a Alibaba apresentou o Page Agent, um agente de navegador em JavaScript puro que controla interfaces web a partir de comandos de texto, lendo a estrutura da página pelo DOM. O agente roda inteiramente no lado do cliente e não exige capturas de tela, modelos multimodais nem alterações no código do servidor.

Como o Page Agent funciona

O agente é incorporado à página web como um script JS comum. Quando um usuário ou um sistema externo envia um comando em linguagem natural, como "clique no botão de envio do formulário", o agente analisa a árvore DOM ao vivo: lê tags, atributos, rótulos de texto e a estrutura de aninhamento. Com base nessa análise, ele escolhe o elemento certo e executa a ação: um clique, digitação de texto ou seleção em uma lista suspensa.

Principais características:

• Execução no lado do cliente: não são necessárias requisições ao servidor para controlar a interface
• Sinal de controle: texto comum em linguagem natural
• Fonte de dados: representação textual do DOM ao vivo
• Ações: cliques, digitação, interação com elementos de formulário
• Não exige modelo multimodal: basta um LLM de texto

Por que o DOM é melhor que uma captura de tela?

A maioria dos agentes GUI atuais para navegador trabalha com a representação visual da página: tira uma captura de tela, envia a imagem a um modelo multimodal, recebe coordenadas e executa o clique. Essa abordagem funciona, mas tem limitações sistêmicas.

Requisições multimodais são mais caras que as de texto, tanto no custo de tokens quanto na latência da resposta. Interfaces densas com elementos pequenos reduzem a precisão: o modelo pode errar as coordenadas ou "perder" um botão atrás de uma camada de janela pop-up. A abordagem por captura de tela também depende da renderização, então o agente se comporta de forma diferente em tamanhos de janela distintos e no modo headless.

O conteúdo dinâmico é outro problema. Se um elemento aparece algumas centenas de milissegundos após o carregamento, o agente baseado em capturas precisa adivinhar quando a página se estabiliza. Um agente DOM pega o estado atual da árvore no momento do comando e enxerga o conteúdo novo automaticamente.

A abordagem via DOM elimina todas essas limitações. A estrutura HTML da página já contém semântica: identificadores, papéis, rótulos de texto e hierarquia de elementos. Para um agente de texto, é mais preciso encontrar o "botão de confirmação na janela modal" lendo o DOM do que adivinhando o objeto por pixels. O agente funciona da mesma forma no Chrome comum, em um WebView móvel e em um navegador headless.

Onde isso se aplica

Um agente DOM tem o melhor desempenho onde a estrutura da página é previsível: aplicações web corporativas, sistemas de CRM, painéis administrativos e formulários. O ponto fundamental é que o Page Agent não precisa de acesso ao código de servidor nem à API do site hospedeiro. O dono do serviço não precisa reescrever nada: basta adicionar o script do agente no lado do cliente.

Isso abre um cenário de "integração zero": um desenvolvedor ou usuário final adiciona o agente a qualquer site já em funcionamento e passa a controlá-lo imediatamente por comandos de texto. Para a automação corporativa, isso reduz de forma significativa o custo de implantação em comparação com as soluções tradicionais de RPA, que exigem configuração profunda para cada aplicação específica.

O que isso significa

O Page Agent, da Alibaba, mostra que a automação de navegador não exige modelos multimodais caros. O DOM como fonte de texto dá ao agente informação suficiente para controlar a interface com precisão, com menor custo e sem depender da renderização visual. Se a abordagem provar confiabilidade em sites reais e heterogêneos, ela pode definir um novo padrão para agentes web leves, que se incorporam sem reescrever o backend e funcionam com qualquer site de imediato.