Vercel выпустила agent-desktop: агенты управляют любым приложением без скриншотов

Если вы пробовали автоматизировать десктопное приложение через модель со скриншотами, вы знаете боль: медленно, дорого и хрупко. Любой сдвинутый пиксель или смена темы оформления, и агент промахивается мимо кнопки. Vercel Labs предлагает другой путь: agent-desktop, инструмент, который вообще не смотрит на картинку.

Как это работает

Операционная система и так знает, что находится на экране. Для скринридеров у неё есть accessibility tree: дерево элементов с ролями, названиями, состояниями и фокусом. На macOS это AX API, на Windows UI Automation, на Linux AT-SPI. agent-desktop читает это дерево и отдаёт агенту JSON, где у каждого элемента есть ref.

Цикл простой. Агент просит дерево, находит нужную кнопку, нажимает по её ref, снова читает дерево и проверяет, что действие сработало. Например, вместо «кликни примерно в точку 540×320» агент говорит «нажми ref e12, это кнопка Отправить» и убеждается, что поле ввода очистилось.

Внутри один бинарник на Rust размером около 15 МБ, без зависимостей. Ставится командой npm install -g agent-desktop. Команд 60, они одинаковы на всех трёх платформах, каждая печатает JSON и завершается. Своей LLM внутри нет: цикл «посмотрел, сделал, проверил» живёт в вашем агенте. Лицензия Apache-2.0, а ещё есть skill, который агент читает перед работой. Для Electron и Chromium инструмент открывает DevTools-порт, к которому уже подключается agent-browser.

Главная проблема: контекст

Полное дерево приложения огромно. Дамп Slack легко весит больше 50 000 токенов, и агент утонет ещё до первого клика. Поэтому сначала берётся «скелет» глубиной в пару уровней, а раскрывается только нужная ветка. По словам автора, на Slack, VS Code и Notion это экономит 78–96% токенов. Цифры авторские, независимо их пока никто не проверял, так что на своём приложении замерьте сами.

Любопытна и история проекта. Всё началось как работа одного разработчика, вдохновлённая agent-browser, а теперь инструмент выходит под брендом Vercel Labs и лежит в их документации. Либо человека наняли, либо проект купили. Классический путь open source.

Ограничения

Главное ограничение следует из самой идеи: если приложение не публикует accessibility tree, агент его не видит. Мимо пройдут самописные контролы, игры и часть Electron-сборок с выключенной доступностью. На Windows есть отдельная ловушка: если окно запущено с повышенными правами, инструмент упрётся в политику безопасности.

Для корпоративного софта это особенно важно. Именно там, в 1С, бухгалтерских и внутренних клиентах, автоматизация нужна больше всего, а поддержка accessibility часто в зачаточном состоянии. Громкие заявления про смерть RPA стоит делить на здравый смысл: сначала проверьте, что ваше приложение вообще отдаёт дерево.

Что делать на практике

Аналогия с Playwright точная: структура вместо пикселей. Если у вас есть внутренние десктопные системы, потратьте час и посмотрите их дерево доступности через agent-desktop. Если оно богатое, получите автоматизацию заметно дешевле и стабильнее, чем computer use на скриншотах. Если пустое, скриншоты остаются запасным вариантом.

Продактам и основателям стоит заметить ещё одно: инструмент не привязан к агентской обвязке. Это просто CLI, который можно подключить к любому агенту, и в этом его сила. Начните с одной рутинной задачи, например выгрузки отчёта из старого клиента, и сравните стоимость токенов и долю успешных прогонов с вашим текущим подходом.

Это не конец RPA, но серьёзный шаг: у агентов появился дешёвый и переносимый способ видеть интерфейс так, как его видит сама система.