Разработчик выложил оверлей, где ИИ-агенты рисуют стрелки и рамки на экране

Разработчик franzenzenhofer выложил на GitHub проект big-arrow-on-the-screen. Это инструмент, с помощью которого ИИ-агент может нарисовать поверх экрана пользователя крупную стрелку, рамку или текстовую подпись. Пост на Hacker News набрал 233 балла и 93 комментария, так что тема явно задела нерв: агентам не хватает простого способа показывать, а не рассказывать.

Какую проблему закрывает оверлей

Сегодня большинство ИИ-ассистентов общается с пользователем текстом. «Откройте настройки в правом верхнем углу, найдите третий пункт в списке» — фраза, которую приходится переводить в действия самому. Если интерфейс незнакомый, а названия кнопок отличаются от тех, что помнит модель, ошибка почти гарантирована.

Стрелка на экране убирает этот перевод. Агент определяет нужное место и помечает его визуально, а человек сразу видит, куда смотреть. Идея проста, и, судя по реакции Hacker News, именно поэтому она нашла отклик. В репозитории заявлена именно эта функция: крупные стрелки, рамки и текст, которыми управляет агент.

Режим между подсказкой и автономией

Агенты, которые сами управляют компьютером, кликают, печатают и открывают вкладки. Но не каждая задача требует полной автономии, а не каждый пользователь готов её отдать. Оверлей даёт третий вариант: агент показывает, человек действует.

Практические сценарии лежат на поверхности:

• обучение работе с новым софтом и онбординг сотрудников;
• удалённая поддержка, когда помощник объясняет шаги прямо на экране;
• подтверждение намерений: агент подсвечивает кнопку, на которую собирается нажать, и ждёт согласия;
• разбор интерфейса при ревью и тестировании, когда нужно указать на конкретный баг.

Последний пункт особенно любопытен. Визуальная пометка перед действием работает как дешёвый механизм контроля: пользователь видит намерение агента до того, как оно стало кликом.

Риски, которые обсуждают вокруг таких инструментов

Программа, рисующая поверх всех окон, требует определённых прав в системе, а значит, расширяет поверхность атаки. Если агент подвержен prompt injection, злоумышленник теоретически может заставить его указать стрелкой на «Подтвердить платёж» или «Разрешить доступ». Пользователь, привыкший доверять подсказкам, нажмёт. Это рассуждение, а не описанный сценарий из репозитория, но для любого агентского оверлея вопрос стоит так же.

Отдельная тема: точность. Стрелка, указывающая на два сантиметра левее нужной кнопки, хуже текстового описания. Насколько надёжно проект определяет координаты на разных разрешениях и мониторах, из материала новости понять нельзя.

Что известно на данный момент

• Проект: big-arrow-on-the-screen, автор franzenzenhofer, публикация на GitHub.
• Функции: стрелки, рамки и текст поверх экрана, управляемые ИИ-агентом.
• Реакция: 233 балла и 93 комментария на Hacker News.
• Дата появления в ленте: 9 октября 2026 года.
• Не указано в источнике: лицензия, поддерживаемые ОС, способ интеграции с конкретными агентами и моделями.

Как подойти к проекту практически

Если вы строите агента с доступом к экрану, стоит открыть репозиторий и проверить три вещи: как оверлей получает команды (протокол или API), какие системные разрешения нужны и можно ли ограничить, какие именно элементы агент вправе подсвечивать. Для внутренних инструментов поддержки и обучения это, вероятно, самый быстрый способ добавить визуальную обратную связь без полного computer use.

И прочитайте 93 комментария на Hacker News. В обсуждениях таких проектов обычно всплывают реальные ограничения: от мультимониторных конфигураций до конфликтов с полноэкранными приложениями. Пока это небольшая идея с понятным применением, а её зрелость определит именно такая проверка.