Учёные из NTU научили ИИ-модель пропускать видео: токенов меньше на 59%

Исследователи из College of Computing and Data Science при Nanyang Technological University (Сингапур) решили проблему, которая мешает «омни-моделям» — ИИ-системам, способным одновременно обрабатывать текст, аудио, изображения и видео, — работать быстро и дёшево. Такие модели, как Qwen2.5-Omni и Qwen3-Omni, показывают сильные результаты именно потому, что сводят данные из разных источников в одно понимание ситуации. Но у этой силы есть цена: обработка видео в разы дороже обработки текста и звука, а на практике видео часто вообще не нужно для правильного ответа.

Почему видео — это дорогая и не всегда нужная роскошь

На бенчмарке WorldSense (тесты на понимание происходящего по аудио и видео одновременно) авторы замерили: запрос с текстом и аудио в среднем занимает около 3000 входных токенов, а если добавить к нему видео — почти 40000 токенов, то есть более чем в 13 раз больше. При этом в части вопросов видео реально критично (например, вопрос «какого цвета дверь» без картинки не решить), а в части — только мешает. В одном из приведённых примеров модель Qwen2.5-Omni правильно отвечала по одному аудио, но ошибалась, когда к запросу добавляли видео — лишняя модальность сбивала модель с верного пути.

Как работает отбор модальностей под конкретный запрос

Вместо того чтобы переобучать саму омни-модель или сжимать видео-токены, авторы предложили ставить перед моделью лёгкий «диспетчер» (router). Он смотрит только на текст вопроса — через эмбеддинги модели BGE-M3 — и до запуска основной модели решает: достаточно текста и аудио (TA) или нужно подключать ещё и видео (TAV).

Диспетчер обучается не на обычной классификации, а на задаче с чувствительностью к цене ошибки: для каждого обучающего примера считается, какой вариант (TA или TAV) дал бы лучший баланс точности и стоимости, и этот вариант становится правильным ответом для диспетчера. При этом запросам, где ошибка выбора модальности особенно дорого обходится — либо сильно портит точность, либо сильно удорожает инференс, — присваивается больший вес при обучении. Так диспетчер учится определять, когда видео нужно, именно на тех примерах, где это важнее всего.

Результаты на практике

Проверка шла на бенчмарке WorldSense с двумя моделями — Qwen2.5-Omni-7B и Qwen3-Omni, — а стоимость запроса измеряли тремя способами: числом входных токенов, задержкой ответа и деньгами (по ценам на токены разных модальностей).

• Для Qwen2.5-Omni предложенный «cost-sensitive» диспетчер достиг точности, сравнимой с режимом «всегда подавать все модальности» (TAV), но потратил лишь около 41% входных токенов, 39% времени отклика и 61% денежных затрат от полного режима.
• Это означает экономию токенов почти на 59%, времени — на 61%, денег — на 39% при сохранении исходной точности.
• Авторы сравнили свой метод с несколькими альтернативами: случайным выбором модальности, «судьёй» на базе Gemini 2.5 Pro, который по тексту вопроса решает, нужно ли видео, а также с каскадными схемами — когда модель сперва отвечает по тексту и аудио, а при низкой уверенности в ответе дополнительно подключает видео. Во всех трёх метриках стоимости предложенный cost-sensitive классификатор дал лучшее соотношение точность/цена, чем все перечисленные альтернативы.
• Метод Estimate-Then-Predict (предсказание качества и стоимости каждой конфигурации модальностей отдельными моделями) также обошёл каскадные схемы, но проиграл основному предложенному подходу.

Что это значит для инженеров

Практический вывод: если вы строите продукт на омни-моделях (видеоаналитика, модерация контента, ассистенты с камерой), не обязательно включать видео в каждый запрос по умолчанию. Достаточно простого и дешёвого классификатора на основе текста запроса, чтобы понять, когда видео реально нужно, — это может сэкономить больше половины инференс-бюджета без потери качества ответов. Подход особенно ценен для сервисов с высокой нагрузкой, где каждый лишний токен и миллисекунда отклика напрямую бьют по счетам за инференс.