DIYgod выпустил Pinky: open-source мост, чтобы ИИ-агент управлял iPhone и Android

Агенты научились кодить, ходить по сайтам и работать с файлами. Но как только задача упирается в телефон, всё ломается: сообщения в мессенджере, заказ в приложении доставки, оплата в банковском клиенте. Многого из этого нет в вебе, и обычный браузерный агент туда не дотянется. Китайский разработчик DIYgod выложил проект Pinky, который пытается закрыть эту дыру.

Что это такое

По описанию автора, Pinky позволяет любому ИИ-агенту пользоваться вашим iPhone или Android. Сам инструмент запускается на Mac, Windows и Linux, то есть телефон подключается к компьютеру, а агент работает через него. Проект бесплатный и с открытым кодом. Это нативное приложение, а не тяжёлая обёртка: установочный пакет занимает около десятка мегабайт.

Важная формулировка здесь «любой агент». Pinky задумана не как ещё один отдельный ассистент, а как слой между агентом и устройством. Вы выбираете модель или фреймворк, который вам нравится, а Pinky даёт ему руки для работы с телефоном. Конкретные протоколы подключения и список поддерживаемых агентов автор в посте не раскрывает, это нужно смотреть в репозитории.

Почему акцент на контроле

Отдать агенту телефон страшнее, чем браузер: там деньги, переписка, личные данные. Поэтому половина анонса посвящена тормозам. Перед платежом Pinky останавливается и ждёт вашего подтверждения. Такие же подтверждения можно включить для отправки сообщений и для удаления. Это привычная схема human-in-the-loop, только применённая к реально опасным действиям, а не ко всему подряд.

Второй механизм, возможность в любой момент перехватить управление. Если агент пошёл не туда, вы просто берёте телефон на себя. Третий, запись экрана на каждом шаге. Для отладки это полезно: вы видите не абстрактный лог, а то, что агент действительно нажимал. А если что-то пошло не так, у вас есть доказательство, где именно.

Ограничения и вопросы

Пока это пост-анонс, а не обзор. Мы не знаем, насколько стабильно агент справляется со сложными приложениями, как проект ведёт себя с защитой банковских клиентов и какие ограничения накладывает iOS. Не ясно и то, как устроены разрешения и где хранится видео, а для записи экрана с личными данными это важный вопрос. Охват поста (около 72 тысяч просмотров) говорит об интересе, но не о зрелости продукта.

Отдельный риск — промпт-инъекции. Если агент читает с экрана чужие сообщения, в них может быть текст с инструкциями. Подтверждение перед платежом смягчает последствия, но не отменяет проблему для действий, которые вы не поставили на подтверждение.

Что с этим делать

Разработчикам агентов стоит заглянуть в репозиторий и посмотреть, как устроены подтверждения и запись: эти приёмы пригодятся и в других проектах. Продактам полезно взять на заметку шаблон «пауза на необратимых действиях плюс видео-аудит» как базовый стандарт доверия. Пробовать лучше на тестовом устройстве или запасном аккаунте, а подтверждения включить для всего, что связано с деньгами, перепиской и удалением. Если Pinky окажется стабильной, у open-source агентов появится недостающий мобильный слой без привязки к одному вендору.