Moonshot выпустила WorldVQA: 3500 вопросов о мире, на которых модели ошибаются

Kimi Team из Moonshot AI выпустила WorldVQA, бенчмарк для проверки визуальных знаний о мире у мультимодальных языковых моделей. В наборе 3500 пар «изображение — вопрос», по каждой есть один проверяемый ответ. Задача теста простая: узнаёт ли модель конкретный объект на снимке или достраивает ответ по знакомым визуальным паттернам. По данным авторов, на редких, «длиннохвостых» знаниях даже передовые модели часто не набирают и 50% точности. Датасет и скрипты оценки опубликованы, к ним приложена статья на arXiv.

Что внутри датасета

Вопросы построены так, чтобы проверять энциклопедическую широту, а не рассуждение по картинке. Авторы исключили субъективные вопросы и неоднозначные сцены. Все изображения и пары «вопрос — ответ» прошли многоэтапную ручную проверку.

Примеры показывают разброс: определить вид птицы (Chestnut Shortwing), цветок (фрезия), природный ориентир (мыс Доброй Надежды), балет «Лебединое озеро», персонажа игры, аниме «Твоё имя», логотип EgyptAir. Есть и запросы, где нужна максимальная точность, например назвать потребительский гаджет с моделью вплоть до iPhone 17 Pro. Часть вопросов сформулирована по-китайски: про древний буддийский храм, музейный экспонат эпохи Сражающихся царств, истребитель J-20, стадион в Шанхае.

Ключевые параметры набора:

• 3500 пар «изображение — вопрос»;
• 2240 вопросов на английском (64%) и 1260 на китайском (36%);
• 9 категорий: от природы и архитектуры до брендов, спорта и публичных персон;
• сложность: 31,16% лёгких, 40,77% средних и 28,07% сложных вопросов;
• деление на Head (общеизвестное) и Tail (редкое), чтобы видеть, как падает качество по мере роста «непопулярности» объекта.

Крупнейшие категории: «Локации и архитектура» (14,63%), «Развлечения и медиа» (14,60%), «Культура и искусство» (14,46%) и «Публичные персоны» (14,29%). Самая маленькая — спорт, 4,06%.

Проблема не только в точности, но и в самооценке

Вторая часть исследования посвящена калибровке: насколько заявленная моделью уверенность совпадает с реальной долей верных ответов. Для этого использованы две метрики. ECE (Expected Calibration Error) показывает средний разрыв между уверенностью и точностью, идеал равен 0. Slope (взвешенный средний наклон) отражает, насколько точность следует за уверенностью, идеал равен 1,0.

Результат для всех проверенных моделей один: систематическая переуверенность. Большинство предсказаний сосредоточено в диапазоне 90–100% заявленной уверенности, хотя фактическая точность заметно ниже. Лучшие показатели по обеим метрикам у собственной модели авторов, Kimi-K2.5: ECE 37,9% и Slope 0,550. Это лучший результат в сравнении, но до идеала далеко: при нулевой ошибке калибровки ECE был бы близок к нулю, а Slope к единице. Сами авторы признают, что до «честности» и согласованности модели с собственными границами знаний ещё далеко.

Практические выводы

Для команд, которые встраивают мультимодальные модели в продукты, главный вывод касается доверия к ответам. Если модель называет модель автомобиля, вид растения, логотип или произведение искусства, высокая уверенность в ответе мало что говорит о его верности. Особенно это важно для редких объектов: именно там падает точность, а уверенность остаётся высокой.

Что стоит сделать на практике:

• прогнать на WorldVQA свои кандидатные модели, если продукт опирается на распознавание конкретных сущностей, и смотреть отдельно на Head и Tail;
• не использовать самооценку модели как единственный фильтр: в сценариях с ценой ошибки добавлять внешнюю проверку или поиск по базе;
• для китайскоязычных задач учитывать долю китайских вопросов в тесте (36%), а не ограничиваться англоязычными метриками;
• смотреть на ECE и Slope так же внимательно, как на сырую точность.

Авторы называют рост результата на WorldVQA необходимым шагом для следующего поколения ИИ-агентов: агент, который неверно опознаёт объект и при этом уверен в себе, ошибается там, где действует самостоятельно. Открытые данные и скрипты позволяют другим лабораториям сравнивать свои модели на одной шкале.