Видеоагент Google StreamVibe на 10,7% обходит другие модели по времени и качеству ответов

Команда исследователей из Google, Стэнфорда, Оксфорда и нескольких американских университетов представила StreamVibe — видеоагента, который наблюдает, как человек готовит или собирает мебель, и сам решает, когда пора заговорить. Его обученная модель StreamVibe-VL каждую секунду выбирает между молчанием и репликой и на 10,7% превосходит другие модели по времени и качеству ответов, то есть точнее выбирает момент для подсказки и лучше формулирует её. Дополнительная система памяти даёт ещё 12,3% к проактивному взаимодействию. При этом сама задача остаётся очень трудной для современных ИИ, особенно на длинных видео.

Чего не умеют нынешние видеоассистенты

По описанию авторов, существующие видеоассистенты заточены под чёткие команды вроде «скажи, когда закипит вода». Невысказанные намерения они улавливают плохо. Ещё одна слабость — учёт уже сделанного: ассистент повторяет советы или отвечает слишком поздно. А если пользователь посреди задачи меняет просьбу, система часто продолжает следовать первоначальной. StreamVibe же должен понимать даже расплывчатые просьбы вроде «помоги, если возникнут трудности».

Агент разделяет три типа намерений: явные, неявные и меняющиеся по ходу работы. Чтобы измерить проблему, команда собрала бенчмарк примерно из 4100 примеров на основе более чем 183 часов записей повседневных дел и работы с софтом. Gemini 2.5 Flash предлагала, когда помочь и что сказать, а четверо людей-оценщиков должны были единогласно одобрить каждый пример. Тест состоит из трёх уровней: чёткие инструкции, расплывчатые цели и просьбы, которые меняются со временем. В одном из примеров пользователь разбирает игрушечный экскаватор, просит сообщать о прогрессе, а через три минуты переключается на проверку качества.

Как устроена модель и что она показала

На этих данных исследователи обучили StreamVibe-VL — по всей видимости, на основе Qwen3.5-9B от Alibaba. Каждую секунду модель решает, промолчать или заговорить. Второй этап обучения построен на обучении с подкреплением: он делает модель более сдержанной, чтобы она не перебивала пользователя постоянно. Отдельная система памяти отслеживает, какие просьбы ещё не выполнены и какие шаги уже сделаны. При этом что и когда сказать, по-прежнему решает сама модель.

По данным авторов, StreamVibe-VL на 10,7% лучше других моделей по времени и качеству ответов. Система памяти добавляет ещё 12,3% к проактивному взаимодействию и среди прочего сокращает лишние реплики. От базовой модели и других открытых систем StreamVibe-VL отрывается заметно, но проприетарная Gemini 3.8 Flash от Google в ряде тестов всё равно выше. Специализированное обучение, как утверждает статья, не ухудшает общее понимание видео.

Примеры из статьи и со страницы проекта показывают разницу наглядно. В уроке по GIMP о превращении фото в чёрно-белое модель сравнения JoyAI заявляет, что готовое изображение уже сохранено, хотя пользователь ещё не открывал его. StreamVibe-VL вовремя подсказывает следующий шаг: сначала «Цвета», затем «Обесцветить». В видео про рулетики из тоста с вареньем другие модели просто описывают происходящее на экране, например что хлеб раскатывают, а StreamVibe-VL советует сначала срезать корочку.

Где система ломается

Самая важная часть исследования — ограничения. Когда моделям нужно лишь в отдельные моменты оценить, уместна ли подсказка, они часто справляются. Но если модель обрабатывает видео целиком и опирается на собственные прошлые ответы, качество падает у всех протестированных систем: ошибки накапливаются. Содержательная метрика ответов при опоре на собственную историю теряет до 61,5%. На видео длиннее пяти минут модели редко выбирают правильный момент, а изменённую инструкцию на длинной дистанции отслеживают особенно плохо. Обвязка с памятью в основном снижает число лишних вмешательств, а не решает проблему тайминга.

Сами авторы признают, что реальные ситуации, вероятно, сложнее тестовой постановки. В дальнейшем они хотят изучить, как предпочтения пользователя и окружение влияют друг на друга со временем.

Контекст: Google давно движется к активному видеоанализу

В сентябре Google показала агентный анализ видео в Gemini: модель сама решает, какие сцены рассмотреть подробнее. Недавно с Gemini 4 Argon компания продемонстрировала, как ИИ отслеживает длинные цепочки действий на видео с роботами и находит ошибки. StreamVibe добавляет к этому умение понимать, что происходит сейчас, и распознавать, когда помощь действительно нужна.

Родственные исследования указывают на схожие слабости. На ProactiveBench (тест на умение задавать уточняющие вопросы) модели при нехватке визуальной информации чаще гадают или отказываются отвечать, чем уточняют. Отдельный бенчмарк по пониманию видео выявил серьёзные провалы в пространственных и временных рассуждениях. А для автономных агентов сам диалог может ухудшать результат, как показали исследователи Microsoft.

Практический вывод для разработчиков: проактивный видеоассистент пока приходится проектировать с явной памятью о задаче и ограничением на частоту вмешательств. Рассчитывать, что одна модель удержит нить на длинном видео, пока рано.