Vercel lança o agent-desktop: agentes controlam qualquer aplicativo sem capturas de tela

Se você já tentou automatizar um aplicativo de desktop com um modelo baseado em capturas de tela, conhece a dor: é lento, caro e frágil. Um pixel deslocado ou uma mudança de tema, e o agente erra o botão. A Vercel Labs propõe outro caminho: o agent-desktop, uma ferramenta que simplesmente não olha para a imagem.

Como funciona

O sistema operacional já sabe o que está na tela. Para os leitores de tela, ele tem uma árvore de acessibilidade: uma árvore de elementos com papéis, nomes, estados e foco. No macOS é a AX API, no Windows o UI Automation e no Linux o AT-SPI. O agent-desktop lê essa árvore e entrega ao agente um JSON em que cada elemento tem um ref.

O ciclo é simples. O agente pede a árvore, encontra o botão necessário, clica nele pelo ref, lê a árvore de novo e verifica se a ação funcionou. Por exemplo, em vez de "clique aproximadamente no ponto 540×320", o agente diz "pressione o ref e12, é o botão Enviar" e confirma que o campo de entrada foi limpo.

Por dentro há um único binário em Rust de cerca de 15 MB, sem dependências. A instalação é feita com o comando npm install -g agent-desktop. São 60 comandos, idênticos nas três plataformas; cada um imprime JSON e termina. Não há LLM embutido: o ciclo "olhar, agir, verificar" vive no seu agente. A licença é Apache-2.0, e há ainda um skill que o agente lê antes de começar a trabalhar. Para Electron e Chromium, a ferramenta abre uma porta do DevTools, à qual o agent-browser já consegue se conectar.

O principal problema: o contexto

A árvore completa de um aplicativo é enorme. Um dump do Slack pode facilmente pesar mais de 50.000 tokens, e o agente se afoga antes do primeiro clique. Por isso, primeiro se obtém um "esqueleto" de poucos níveis de profundidade, e só o ramo necessário é expandido. Segundo o autor, no Slack, no VS Code e no Notion isso economiza 78–96% dos tokens. Os números são do próprio autor e ninguém os verificou de forma independente até agora, então meça no seu próprio aplicativo.

A história do projeto também é curiosa. Tudo começou como o trabalho de um único desenvolvedor inspirado no agent-browser, e agora a ferramenta sai sob a marca Vercel Labs e está na documentação deles. Ou a pessoa foi contratada, ou o projeto foi comprado. Um caminho clássico do código aberto.

Limitações

A principal limitação decorre da própria ideia: se o aplicativo não publica uma árvore de acessibilidade, o agente não o enxerga. Ficam de fora controles personalizados, jogos e parte das compilações de Electron com a acessibilidade desligada. No Windows há outra armadilha: se a janela é executada com privilégios elevados, a ferramenta esbarra na política de segurança.

Para software corporativo isso é especialmente importante. É justamente ali, no 1C, em sistemas contábeis e clientes internos, que a automação é mais necessária, e o suporte a acessibilidade costuma ser incipiente. As declarações bombásticas sobre a morte do RPA devem ser lidas com bom senso: primeiro verifique se o seu aplicativo expõe uma árvore.

O que fazer na prática

A analogia com o Playwright é precisa: estrutura em vez de pixels. Se você tem sistemas de desktop internos, gaste uma hora e examine a árvore de acessibilidade deles com o agent-desktop. Se for rica, você obtém uma automação visivelmente mais barata e estável que o computer use com capturas de tela. Se estiver vazia, as capturas continuam sendo a alternativa.

Produtos e fundadores devem notar mais uma coisa: a ferramenta não está presa a um harness de agentes específico. É simplesmente uma CLI que pode ser conectada a qualquer agente, e aí está a sua força. Comece por uma tarefa rotineira, por exemplo exportar um relatório de um cliente antigo, e compare o custo em tokens e a taxa de execuções bem-sucedidas com a sua abordagem atual.

Isso não é o fim do RPA, mas é um passo sério: os agentes ganharam uma forma barata e portátil de ver a interface como o próprio sistema a vê.