Видео-ИИ в потоке почти не умеет переспрашивать: лучший набрал 7,22% в тесте AskStream

Команда из Института автоматизации Китайской академии наук, Пекинской академии ИИ (BAAI) и ещё двух университетов выпустила AskStream — тест для видео-ИИ, который смотрит ролик как прямой эфир. Проверяется навык, который у моделей почти не развит: вовремя понять, что информации не хватает, и спросить. Для этого придумали метрику Ask-F1: она засчитывает вопрос, только если он задан в правильном временном окне и по правильному поводу. Лучшая офлайн-модель получила 52,18%, а лучшая потоковая — 7,22%. Разница в семь раз.

Зачем модели переспрашивать

Привычная схема такая: модель получает видео целиком, потом отвечает. Потоковые модели смотрят ролик по мере поступления кадров и отвечают в реальном времени. Следующий шаг — проактивные модели: они сами выбирают момент ответа, например сигналят об аномалии или ведут по инструкции. Все эти схемы предполагают, что в потоке рано или поздно появится всё нужное для ответа.

На практике это не так. Нужный предмет может быть размытым, камера смотрит не с той стороны, пользователь задал двусмысленный вопрос. Тогда модель либо ждёт вечно, либо выдумывает ответ. Авторы предлагают третье действие, кроме «ждать» и «ответить»: спросить.

Они проверили пользу этого шага. Когда ключевой объект на видео размыт, точность ответа составляла 42,3%. После запроса чёткого видео она выросла до 62,3%. Если сразу дать идеально чистое видео, получается 63,1%. Неподходящие уточнения почти не помогали. Правильная информация снижала неопределённость модели и сдвигала вероятность к верному ответу.

Восемь ситуаций, в которых нужно спросить

Неопределённость делится на два источника — видео и пользователь. Вместе они дают восемь подтасков:

• KVEM — ключевой объект в кадре размыт, нужно запросить чёткое видео.
• VIM — нужных деталей не видно с текущего ракурса, нужно попросить другой.
• ICM — на видео есть объект, но модель не знает его личного значения для пользователя (например, чья это вещь), и надо спросить.
• PACM — пользователь делает действие со своим названием, определение которого модель не знает.
• AUQ — вопрос двусмысленный, нужно уточнить намерение.
• Вопрос с ложной предпосылкой — модель должна заметить, что вопрос противоречит видео, поправить пользователя и ответить.
• UPM — для ответа нужны вкусы пользователя, например стиль, и их надо спросить.
• UPC — сохранённые предпочтения устарели, и модель должна запросить актуальные.

В части задач проблема видна сразу, и модель должна спросить, а затем ждать нужных кадров. В других недостаток обнаруживается только по ходу видео, и спрашивать надо позже. Ход засчитывается, если правильный вопрос задан в нужном окне, а потом дан верный ответ.

Как собирали и как проверяли

В тесте 438 видео и 1 401 вопрос из девяти доменов. Длительность роликов — от 16,72 секунды до 118 минут. Видео брали с YouTube и из готовых датасетов, часть синтезировали в Blender. Размытие объектов делали через Grounded SAM 2, нарезку помогал делать PySceneDetect. Варианты ответов генерировала GPT-5.6 Sol, а каждый пример проверяли люди: без недостающей информации однозначно ответить нельзя, с ней — можно. Всего в тесте 2 714 меток времени с точностью до кадра, в среднем 3,2 хода на видео.

Офлайн-моделям, которые не умеют работать с потоком, авторы сделали иерархическую память. Последние 10 кадров (1 кадр в секунду) хранятся как есть. Каждые 10 кадров сжимаются в одну запись средней давности. Каждые четыре такие записи объединяются в долгую, и всего долгих блоков не больше восьми. Модель принимает решение раз в секунду с допуском ±1 секунда. В открытом режиме ответы оценивает Gemini-3.8 Flash.

Что показали результаты

Среди офлайн-моделей сильнее выглядит Gemini-3.8 Flash: по подтаскам 37,17% на KVEM, 43,10% на вопросах с ложной предпосылкой и 81,36% на UPC. При этом результаты по типам неопределённости сильно различаются.

Стриминговые проактивные модели справляются куда хуже: на большинстве подтасков они получили ноль, а многие не смогли выполнить задание. Лучшая из них, AURA, набрала только 7,22%.

Чаще всего ошибки двух видов: слишком ранний вопрос, когда доказательств ещё нет, и вопрос не по существу. Если модели сообщить, когда и что спрашивать, Ask-F1 растёт на 43,83 п.п. То есть главный провал не в ответах, а в умении распознать пробел.

Что это значит для разработчиков

Для помощников по видео, будь то бытовые подсказки или удалённое сопровождение операций, такая способность практически обязательна. Ассистент, который уверенно отвечает по размытому кадру, опаснее ассистента, который просит показать ещё раз. Пока же потоковые модели к этому не готовы, и бенчмарк даёт им измеримую цель. Минус теста — небольшой масштаб (1 401 вопрос) и сильная зависимость от судей-моделей в открытом режиме.