MolmoWeb-4B de Ai2: un agente web que ve los sitios como una persona, sin analizar HTML

Ai2 (Allen Institute for AI) ha presentado MolmoWeb-4B, un agente web multimodal de código abierto que controla el navegador exclusivamente a partir de capturas de pantalla, sin analizar HTML.

Visión en lugar de análisis del código

La mayoría de los agentes web trabajan con el árbol DOM: leen el código HTML de la página, localizan los elementos que necesitan e interactúan con ellos de forma programática. Este enfoque falla en sitios dinámicos, interfaces Canvas y páginas con mucho JavaScript.

MolmoWeb sigue otro camino. El modelo recibe una captura del estado actual del navegador y ve la página como una imagen, igual que la ve una persona. La tarea del agente es entender qué ocurre en pantalla y decidir qué hacer a continuación. Sin HTML ni selectores DOM: solo píxeles y razonamiento multimodal.

Cómo funciona el pipeline

Por dentro, MolmoWeb-4B es un modelo de lenguaje multimodal con 4000 millones de parámetros y cuantización de 4 bits. Eso permite ejecutarlo en la versión gratuita de Google Colab con una GPU T4, algo especialmente importante para desarrolladores sin hardware caro.

El ciclo de trabajo del agente tiene cinco pasos:

• Captura de pantalla del estado actual del navegador
• Envío de la imagen a MolmoWeb-4B
• Razonamiento del modelo sobre el estado de la página (chain-of-thought)
• Predicción de la siguiente acción: clic, entrada de texto, desplazamiento
• Ejecución de la acción y nueva captura de pantalla

La idea clave del flujo de prompts es obligar al modelo a razonar de forma explícita antes de actuar. El agente no se limita a «ver un botón y pulsarlo»: formula qué observa exactamente en pantalla, explica por qué debe hacer clic justo ahí y solo después genera las coordenadas o el comando. Es una adaptación del chain-of-thought prompting a la percepción visual de interfaces.

Acceso abierto y práctica

MolmoWeb se publica bajo una licencia abierta de Ai2, lo que significa que cualquier desarrollador puede desplegar su propio agente web sin depender de las API de pago de OpenAI, Google o Anthropic. Los autores publican un tutorial completo: desde la instalación del entorno en Colab y la carga del modelo con Transformers hasta la integración con Playwright para controlar el navegador. El ciclo del agente se construye desde cero: captura de pantalla, envío al modelo, análisis de la respuesta y ejecución de la acción.

Ventajas prácticas:

• Funciona sin claves de API de servicios externos
• No requiere marcado especial del sitio ni extensiones del navegador
• Compatible con cualquier sitio y sistema operativo
• La versión cuantizada (4 bits) funciona en un Colab T4
• Pipeline totalmente reproducible y de acceso abierto

Una salvedad: por ahora es una herramienta de investigación. La velocidad (cada paso tarda varios segundos) y la precisión en la predicción de acciones son inferiores a las de los agentes especializados con acceso directo al DOM.

Contexto: la carrera de los agentes de navegador

Los agentes de navegador son una de las líneas más activas del desarrollo de IA en 2025–2026. Anthropic Computer Use, Google Project Mariner y OpenAI Operator: los grandes actores trabajan para que los modelos de IA puedan manejar un ordenador en lugar de una persona. MolmoWeb, de Ai2, ocupa su propio nicho: totalmente abierto, reproducible y capaz de funcionar en hardware de consumo. No es un competidor directo de las soluciones corporativas, sino una herramienta para investigadores y desarrolladores que quieren construir agentes por su cuenta.

Qué significa

Un agente de navegador abierto de 4B de parámetros que se ejecuta en Colab reduce la barrera de entrada para tareas de automatización web. Los equipos sin presupuestos corporativos obtienen una herramienta funcional para experimentar con agentes guiados por la visión y no por el marcado del código.