Google научила видеоагента StreamVibe сама решать, когда вмешаться: +10,7%

Команда исследователей из Google, Stanford, Oxford и нескольких американских университетов представила StreamVibe — видеоагента, который сам решает, когда вмешаться. Он наблюдает за человеком по видеопотоку, например пока тот готовит или разбирает игрушку, и говорит только тогда, когда помощь действительно нужна. Главная цифра работы — 10,7%. Столько StreamVibe-VL выигрывает у других моделей в сочетании двух показателей: насколько вовремя он подаёт реплику и насколько она полезна. Но исследование показывает и обратное: надолго удержать нить задачи пока не может ни одна из проверенных систем.

Чем помощник по видео отличается от обычного

Существующие видеоассистенты заточены под чёткие команды вроде «скажи, когда закипит вода». Они плохо справляются с тремя вещами, которые для живого человека очевидны:

• невысказанные намерения: человек просит «помоги, если возникнут трудности», а конкретных шагов не называет; • память о сделанном: ассистент повторяет совет или опаздывает, потому что не помнит, что уже произошло; • смена просьбы на ходу: пользователь передумал, а модель держится за первоначальную инструкцию.

Пример из статьи: человек разбирает игрушечный экскаватор и просит сообщать о прогрессе, а через три минуты просит проверить качество сборки. Ассистент должен заметить смену задачи и переключиться.

Как собрали тест и обучили модель

Чтобы измерить проблему, авторы составили бенчмарк (набор тестовых заданий) примерно из 4100 примеров. Материал взят из более чем 183 часов видео повседневных дел и записей работы с программами. Модель Gemini 2.5 Flash предлагала, в какой момент помочь и что сказать. Затем четверо живых оценщиков проверяли каждый пример, и принимался он только при единогласном одобрении. Тест делится на три уровня: чёткие инструкции, расплывчатые цели и просьбы, которые меняются со временем.

На этих данных обучили StreamVibe-VL. По предположению источника, она построена на открытой модели Qwen3.5-9B от Alibaba. Каждую секунду модель решает, промолчать или заговорить. Вторым этапом идёт обучение с подкреплением, то есть награды и штрафы за поведение. Оно делает модель сдержаннее, чтобы та не перебивала человека по каждому поводу.

Отдельно работает система памяти. Она ведёт список невыполненных просьб и отмечает завершённые шаги. Решение, говорить ли и что именно, остаётся за самой моделью.

Что показали цифры и где всё ломается

По данным авторов, StreamVibe-VL уверенно обходит свою базовую модель и другие открытые модели. Система памяти добавляет ещё 12,3% к проактивности и, среди прочего, сокращает лишние вмешательства. Специализированное обучение не ухудшает общее понимание видео. Но проприетарная Gemini 3.8 Flash от Google в нескольких тестах всё же набирает больше.

Главное ограничение вскрылось при проверке на длинных роликах:

• когда модели нужно лишь в отдельные моменты оценить, уместна ли реплика, она часто решает верно; • когда она смотрит видео целиком и опирается на собственные прошлые ответы, ошибки накапливаются, а качество падает у всех протестированных систем; • ключевая метрика содержания ответов снижается на величину до 61,5% из-за собственной истории системы; • в роликах длиннее пяти минут модели редко выбирают верный момент и особенно плохо отслеживают изменённую инструкцию.

В примерах из статьи разница видна наглядно. В уроке по переводу фото в чёрно-белое в GIMP конкурирующая модель JoyAI заявила, что готовое изображение уже сохранено, хотя пользователь его даже не открывал. StreamVibe-VL в нужный момент подсказала следующий шаг: сначала «Цвета», затем «Обесцветить». В рецепте рулетиков из тостов с джемом другие модели просто описывали происходящее на экране, скажем, что хлеб раскатывают. StreamVibe-VL посоветовала сначала срезать корочку.

Что это даёт разработчикам

Авторы признают, что реальные ситуации сложнее лабораторных, и в будущем хотят изучить, как предпочтения пользователя и окружающая среда влияют друг на друга. Для тех, кто делает ассистентов к умным очкам, обучающим программам или инструментам поддержки, вывод практичен. Отдельная память о задачах помогает, но не решает проблему целиком. Накопление ошибок на длинных сессиях остаётся главным узким местом.

Работа продолжает линию Google. В сентябре компания показала агентный анализ видео в Gemini, где модель сама решает, какие сцены рассматривать пристальнее. Недавно Gemini 4 Argon показала, как ИИ отслеживает длинные последовательности действий в видео с роботами и находит ошибки. Родственные результаты есть и у других: на тесте ProactiveBench модели часто угадывают или отказываются отвечать вместо того, чтобы задать уточняющий вопрос. Исследователи Microsoft показали, что у автономных агентов сам диалог может снижать качество работы.