DeepMind создала AI-мышь на Gemini, чтобы пользователи не переключались на чаты

Google DeepMind представила экспериментальный прототип AI-мышки на основе Gemini, которая захватывает визуальный и семантический контекст вокруг курсора. Это позволяет пользователям выполнять задачи через естественную речь и целевые клики, не отвлекаясь на отдельные AI-окна.

Как видит AI-мышь

Мышь использует компьютерное зрение Gemini для анализа того, что находится под курсором: текст, изображения, кнопки, элементы интерфейса. Но это не просто распознавание изображения. Система понимает не только визуальное содержание (что видно), но и семантический контекст (что это означает в контексте происходящего). DeepMind опубликовала экспериментальные демонстрации этого подхода и описала четыре ключевых принципа взаимодействия, которые лежат в основе дизайна такого инструмента. Эти принципы позволяют AI-мышке быть действительно полезной, а не просто экспериментальной игрушкой.

Почему это решение лучше Обычный поток работы с AI требует переключения контекста.

Вам нужна помощь — открываете отдельное окно чатбота, описываете задачу, копируете результат, вставляете его обратно. Это прерывает работу и требует дополнительных объяснений. AI-мышь решает эту проблему радикально: пользователь просто говорит, указывает мышью на нужное место, или делает целевой клик, а система понимает контекст и помогает прямо внутри текущего приложения. Это как если бы опытный AI-помощник сидел рядом с вами, видел весь экран и мог действовать, не привлекая внимание. Ещё одно преимущество — минимум изучения. Не нужно учить новый интерфейс или запоминать команды. Поведение мышки интуитивно: указываешь и говоришь — получаешь результат.

Что может делать мышь

Исследователи показали применение AI-мышки к различным задачам: Заполнение веб-форм по голосовым командам Поиск и извлечение информации с видимого на экране содержимого Автоматизация навигации по сайтам и приложениям Работа с таблицами, структурированием и анализом данных Перефразирование текста, копирование с переформатированием Проверка информации и логики в документах Каждый из этих сценариев был протестирован на демо-видео. Мышь не требует переключения окон, а значит, пользователь остаётся сосредоточен на задаче.

Что это значит

Граница между браузерными AI-агентами (которые выполняют задачи полностью самостоятельно) и AI-ассистентами (которые помогают человеку) размывается. Google DeepMind показывает, что в будущем AI может быть встроена ещё глубже — не в отдельное приложение, а прямо в инструменты, которыми люди пользуются ежедневно. Это раннее исследование, и прототип имеет ограничения. Но если технология будет доведена до зрелости и интегрирована в операционные системы или браузеры, это может существенно изменить, как люди взаимодействуют с компьютерами и AI одновременно.

«Без переключения контекста AI становится не просто полезнее, а естественнее».

Такой подход может быть следующим шагом эволюции пользовательских интерфейсов, где AI не конкурирует за внимание, а помогает, оставаясь невидимым.