MolmoWeb-4B, da Ai2: agente web que enxerga sites como uma pessoa, sem analisar HTML

A Ai2 (Allen Institute for AI) apresentou o MolmoWeb-4B, um agente web multimodal de código aberto que controla o navegador exclusivamente por capturas de tela, sem analisar HTML.

Visão no lugar de análise de código

A maioria dos agentes web trabalha com a árvore DOM: lê o código HTML da página, localiza os elementos necessários e interage com eles de forma programática. Essa abordagem falha em sites dinâmicos, interfaces Canvas e páginas com muito JavaScript.

O MolmoWeb segue outro caminho. O modelo recebe uma captura do estado atual do navegador e enxerga a página como imagem, exatamente como uma pessoa. A tarefa do agente é entender o que acontece na tela e decidir o que fazer em seguida. Sem HTML, sem seletores DOM: só pixels e raciocínio multimodal.

Como funciona o pipeline

Por dentro, o MolmoWeb-4B é um modelo de linguagem multimodal com 4 bilhões de parâmetros e quantização de 4 bits. Isso permite rodá-lo no Google Colab gratuito com GPU T4, o que é especialmente importante para desenvolvedores sem hardware caro.

O ciclo de trabalho do agente tem cinco etapas:

• Captura de tela do estado atual do navegador
• Envio da imagem ao MolmoWeb-4B
• Raciocínio do modelo sobre o estado da página (chain-of-thought)
• Previsão da próxima ação: clique, entrada de texto, rolagem
• Execução da ação e nova captura de tela

A ideia central do fluxo de prompts é obrigar o modelo a raciocinar de forma explícita antes de agir. O agente não apenas "vê um botão e clica": ele descreve o que exatamente observa na tela, explica por que deve clicar justamente ali e só então gera as coordenadas ou o comando. É uma adaptação do chain-of-thought prompting à percepção visual de interfaces.

Acesso aberto e prática

O MolmoWeb é distribuído sob uma licença aberta da Ai2, o que significa que qualquer desenvolvedor pode implantar seu próprio agente web sem depender das APIs pagas da OpenAI, do Google ou da Anthropic. Os autores publicam um tutorial completo: da instalação do ambiente no Colab e do carregamento do modelo via Transformers até a integração com o Playwright para controlar o navegador. O ciclo do agente é montado do zero: captura de tela, envio ao modelo, análise da resposta e execução da ação.

Vantagens práticas:

• Funciona sem chaves de API de serviços externos
• Não exige marcação especial do site nem plugins de navegador
• Compatível com qualquer site e sistema operacional
• A versão quantizada (4 bits) roda em um Colab T4
• Pipeline totalmente reproduzível e de acesso aberto

Uma ressalva: por enquanto, é uma ferramenta de pesquisa. A velocidade (cada etapa leva alguns segundos) e a precisão na previsão de ações ficam atrás de agentes especializados com acesso direto ao DOM.

Contexto: a corrida dos agentes de navegador

Os agentes de navegador são uma das frentes mais ativas do desenvolvimento de IA em 2025–2026. Anthropic Computer Use, Google Project Mariner e OpenAI Operator: as grandes empresas trabalham para que modelos de IA possam operar um computador no lugar de uma pessoa. O MolmoWeb, da Ai2, ocupa um nicho próprio: totalmente aberto, reproduzível e capaz de rodar em hardware de consumo. Não é um concorrente direto das soluções corporativas, mas uma ferramenta para pesquisadores e desenvolvedores que querem construir agentes por conta própria.

O que isso significa

Um agente de navegador aberto com 4B de parâmetros, que roda no Colab, reduz a barreira de entrada para tarefas de automação web. Equipes sem orçamento corporativo ganham uma ferramenta funcional para experimentar com agentes guiados pela visão, e não pela marcação do código.