Vercel lanza agent-desktop: los agentes controlan cualquier aplicación sin capturas de pantalla

Si alguna vez ha intentado automatizar una aplicación de escritorio con un modelo basado en capturas de pantalla, conoce el problema: es lento, caro y frágil. Un píxel desplazado o un cambio de tema, y el agente falla el botón. Vercel Labs propone otro camino: agent-desktop, una herramienta que no mira la imagen en absoluto.

Cómo funciona

El sistema operativo ya sabe lo que hay en pantalla. Para los lectores de pantalla dispone de un árbol de accesibilidad: un árbol de elementos con roles, nombres, estados y foco. En macOS es la AX API, en Windows UI Automation y en Linux AT-SPI. agent-desktop lee ese árbol y entrega al agente un JSON en el que cada elemento tiene un ref.

El ciclo es sencillo. El agente pide el árbol, encuentra el botón que necesita, lo pulsa por su ref, vuelve a leer el árbol y comprueba que la acción funcionó. Por ejemplo, en lugar de «haz clic aproximadamente en el punto 540×320», el agente dice «pulsa el ref e12, es el botón Enviar» y confirma que el campo de entrada se ha vaciado.

Por dentro hay un único binario en Rust de unos 15 MB, sin dependencias. Se instala con el comando npm install -g agent-desktop. Hay 60 comandos, idénticos en las tres plataformas; cada uno imprime JSON y termina. No incluye ningún LLM: el ciclo «mirar, actuar, verificar» vive en su agente. La licencia es Apache-2.0 y además hay un skill que el agente lee antes de empezar a trabajar. Para Electron y Chromium, la herramienta abre un puerto de DevTools al que ya puede conectarse agent-browser.

El problema principal: el contexto

El árbol completo de una aplicación es enorme. Un volcado de Slack puede pesar fácilmente más de 50 000 tokens, y el agente se ahoga antes del primer clic. Por eso primero se obtiene un «esqueleto» de un par de niveles de profundidad y solo se despliega la rama necesaria. Según el autor, en Slack, VS Code y Notion esto ahorra entre el 78 % y el 96 % de los tokens. Las cifras son del propio autor y nadie las ha verificado de forma independiente, así que mida en su propia aplicación.

La historia del proyecto también es curiosa. Empezó como el trabajo de un solo desarrollador inspirado en agent-browser, y ahora la herramienta sale bajo la marca Vercel Labs y está en su documentación. O contrataron a la persona o compraron el proyecto. Un camino clásico del código abierto.

Limitaciones

La principal limitación se deriva de la propia idea: si una aplicación no publica un árbol de accesibilidad, el agente no la ve. Quedarán fuera los controles personalizados, los juegos y parte de las compilaciones de Electron con la accesibilidad desactivada. En Windows hay otra trampa: si la ventana se ejecuta con privilegios elevados, la herramienta choca con la política de seguridad.

Para el software corporativo esto es especialmente importante. Justo ahí, en 1C, los programas contables y los clientes internos, la automatización es más necesaria, y el soporte de accesibilidad suele ser incipiente. Las afirmaciones grandilocuentes sobre la muerte del RPA conviene tomarlas con cautela: primero compruebe que su aplicación expone un árbol.

Qué hacer en la práctica

La analogía con Playwright es exacta: estructura en lugar de píxeles. Si tiene sistemas de escritorio internos, dedique una hora a examinar su árbol de accesibilidad con agent-desktop. Si es rico, obtendrá una automatización notablemente más barata y estable que el computer use con capturas. Si está vacío, las capturas siguen siendo la alternativa.

A los responsables de producto y a los fundadores les conviene fijarse en algo más: la herramienta no está atada a un arnés de agentes concreto. Es simplemente una CLI que se puede conectar a cualquier agente, y ahí está su fuerza. Empiece por una tarea rutinaria, por ejemplo exportar un informe de un cliente antiguo, y compare el coste en tokens y la proporción de ejecuciones exitosas con su enfoque actual.

No es el fin del RPA, pero sí un paso serio: los agentes disponen ahora de una forma barata y portátil de ver la interfaz como la ve el propio sistema.