Google DeepMind превратила мышиный курсор в контекстного AI-помощника

Google DeepMind переосмыслила один из самых старых интерфейсных элементов — мышиный курсор. Теперь это не просто указатель, а контекстный AI-ассистент, понимающий что нужно пользователю, основываясь на том, на что он указывает.

От текстовых промптов к жестам

Главная проблема нынешних AI-инструментов в том, что пользователь вынужден перетягивать свою работу в отдельное окно и писать подробные инструкции. Новый указатель работает прямо там, где человек работает — в браузере, документе, таблице. Достаточно указать на нужный элемент и сказать команду: «Сделай из этого график», «Покажи маршрут», «Суммируй в пункты». AI понимает контекст и выполняет задачу прямо на месте, без переключения между приложениями.

Четыре принципа дизайна

Google DeepMind сформулировала подход, который сдвигает бремя конкретизации с пользователя на компьютер: Maintain the flow — AI встраивается везде, не отвлекает пользователя Show and tell — система видит визуальный контекст, не требует подробных описаний «This» и «That» — простая речь вместо длинных промптов («Что это?» вместо развёрнутого объяснения) Беспрерывный контекст — поиск и работа с информацией не требуют переключения инструментов Например: вы читаете PDF, указываете на таблицу и просите «Сделай график из этого» — результат появляется прямо в документе. Или указываете на изображение здания и говорите «Покажи маршрут туда» — система сама понимает, что нужна навигация.

Технология и доступность Система работает на базе Gemini и интегрируется в Chrome.

Пока это экспериментальные демо, но они уже показывают реальный потенциал.

«Мы развиваем более естественные способы взаимодействия с AI», — говорится в посте Google DeepMind.

Указатель должен работать как инструмент, который «видит» экран — понимает, на какое слово, параграф, часть изображения или код указывает пользователь. Это существенно упрощает взаимодействие по сравнению с нынешними чатботами, требующими от пользователя писать развёрнутые инструкции.

Что это значит Если такой подход приживётся, интерфейсы изменятся.

Вместо «Откройте чатбот и опишите задачу» будет просто «Укажите на то, с чем нужна помощь» — и система сработает. Это особенно полезно для рутинных задач: суммирование, преобразование формата, поиск информации, анализ данных.