Бенчмарк EvaOmni проверил 24 омни-модели: лидер набрал 79,4%, но заземление — 35,1%

Авторы бенчмарка EvaOmni предлагают оценивать омни-модели не по одному выбранному варианту ответа, а по всей цепочке рассуждения. В наборе 392 видео и 1027 пар «вопрос — ответ», размеченных людьми вручную. Модель должна вернуть ответ и временные интервалы, на которые она опиралась в аудио и в видео. Протестировали 24 системы: 7 с открытыми весами и 17 проприетарных. Лучший результат у Gemini3.7-Flash: точность 79,4%, но по метрике Bottleneck Grounded Score она набрала только 35,1%.

Зачем бенчмарку понадобились доказательства

Большинство тестов аудиовизуального рассуждения построены на вопросах с вариантами ответа. Модель получает балл за правильную букву, и всё. Из такой оценки не видно, нашла ли она нужный звук и нужный кадр или угадала по формулировке вопроса. Авторы указывают на вторую проблему: текстовые и одномодальные шорткаты. Если ответ можно получить, посмотрев только картинку или только прочитав вопрос, бенчмарк измеряет не то, что заявлено.

Поэтому в EvaOmni заложена многоступенчатая разметка. Эксперты сначала отмечают аудио- и визуальные доказательства и строят дистракторы на основе самого видео. Затем люди проверяют, проходит ли каждый вопрос по строгим критериям. Последний фильтр делают модели: они отсеивают вопросы, которые решаются по тексту или по одной модальности. Вопросы охватывают 15 способностей, сгруппированных в три уровня: поиск и локализация, базовое понимание, сложные рассуждения.

Как считается заземление

Кроме ответа, модель возвращает интервалы подтверждающих фрагментов. Для их оценки авторы ввели две метрики. Coverage Grounded Score (C.G.) показывает, какую долю размеченных экспертами доказательств модель нашла. Bottleneck Grounded Score (B.G.) штрафует за плохую временную локализацию в любой из модальностей: слабое место в аудио или в видео тянет оценку вниз. Обе метрики учитываются вместе с правильностью ответа.

Ключевые цифры по лидеру, Gemini3.7-Flash:

• общая точность: 79,4%;
• C.G.: 70,8%;
• B.G.: 35,1%;
• Level 3 (сложные рассуждения): точность 79,1%, B.G. 12,3%.

По всем трём общим показателям Gemini3.7-Flash оказалась впереди и открытых, и закрытых конкурентов. Но разрыв внутри её собственных результатов заметнее, чем разрыв между моделями. На сложных задачах она отвечает верно почти так же часто, как в среднем по набору, а временные интервалы совпадают с экспертными лишь в малой части случаев.

Этот разрыв можно трактовать по-разному. Модель может понимать сцену целиком, но не уметь точно указать, где именно в потоке находятся нужные звуки и кадры. Возможны и остаточные обходные пути к ответу, которые фильтрация не поймала. Статья даёт сводные цифры, и разобрать, какая причина преобладает, по ним нельзя. Сами авторы делают осторожный вывод: даже самые сильные омни-модели ещё имеют запас для роста в заземлённом аудиовизуальном рассуждении. Стоит помнить и о масштабе: 1027 вопросов — компактный набор, а B.G. по построению очень строгая метрика.

Что менять в оценке и продуктах

Для команд, которые строят продукты на видео и звуке (разбор созвонов, анализ записей с камер, поддержка по видеоинструкциям), вывод практичный. Точность по выбору ответа плохо предсказывает, можно ли доверять модели, когда нужно проверить её утверждение. Если ответ идёт в отчёт, юридически значимый документ или решение оператора, требуйте от модели таймкоды отдельно для речи и для картинки и сверяйте их хотя бы на выборке.

На своих данных можно собрать мини-версию той же схемы: 50–100 размеченных примеров с интервалами, оценка и ответа, и локализации, и отдельный подсчёт для слабейшей модальности. Такой тест быстро покажет, где модель отвечает уверенно, но не может показать, откуда взяла ответ. А в интерфейсе стоит выводить ссылку на фрагмент, чтобы человек проверял вывод за несколько секунд, а не пересматривал всё видео.