RoboJudge-9B судит робо-видео точнее Gemini: корреляция с людьми 0,719

Модели генерации видео пытаются сделать фундаментом для «мировых моделей» роботов: сначала нейросеть рисует, как будет выглядеть выполнение задачи, потом по этой картинке можно планировать действия или обучать политики. Идея работает только при двух условиях. Ролик должен быть физически корректным, а действия в нём должны соответствовать инструкции. Проверять это вручную на масштабе невозможно, поэтому роль судьи всё чаще отдают мультимодальным LLM. Исследователи из Китайского университета Гонконга решили выяснить, насколько такие судьи вообще совпадают с людьми, и по итогам собрали целый набор инструментов под названием RoboJudge. Лучшая модель из набора, RoboJudge-9B, показывает корреляцию Пирсона 0,719 с человеческими оценками.

Где универсальные судьи ошибаются

Основой набора стал RoboJudge-Bench. В нём 800 видео с человеческой разметкой из 8 исходных корпусов, сгенерированные 10 разными видеомоделями. Ролики охватывают три типа «тела»: простые захваты (грипперы), человеческие руки и ловкие многопалые кисти (dexterous hands). Каждый ролик оценивают по двум осям: Physical Adherence (соблюдение физики) и Instruction Alignment (соответствие инструкции).

Результаты получились неровными. Универсальные MLLM заметно слабее согласуются с людьми именно по физике: объект может пролететь сквозь пальцы или сменить форму, а модель-судья этого не замечает. Специализированные видеосудьи, обученные на физических рассуждениях общего назначения, на роботизированные сцены переносятся нестабильно. Выходит, что готовый «физический» судья из обычного видео не гарантирует, что разберётся в контакте манипулятора с предметом.

Как из бенчмарка получился судья на 9 миллиардов параметров

В ответ авторы собрали обучающий датасет RoboJudge-Train: 12 тысяч видео и 25 тысяч оценок, проверенных людьми. К оценкам добавлены обоснования, написанные с помощью моделей (model-assisted rationales), чтобы судья учился объяснять вердикт, а не просто выдавать число. На этих данных дообучили MLLM на 9 миллиардов параметров в два этапа: сначала supervised learning, затем reinforcement learning. Так получился RoboJudge-9B.

Главная цифра: среди всех судей, протестированных на RoboJudge-Bench, у него самое высокое общее согласие с людьми. Корреляция Пирсона равна 0,719. Это на 0,089 больше, чем у Gemini-3.7-Flash, сильнейшего проприетарного бейзлайна в этом сравнении. Авторы подчёркивают, что прирост статистически значим. Из этих цифр следует, что у Gemini-3.7-Flash корреляция около 0,63. Небольшая специализированная модель обошла закрытого конкурента на его же поле.

Обучение на RoboJudge-Train помогло и на внешних тестах, в том числе на VideoPhy2 и Physion-Eval. То есть судья не просто запомнил специфику одного бенчмарка.

Что входит в набор

• RoboJudge-Bench — бенчмарк для оценки MLLM как судей эмбодиед-видео: 800 размеченных людьми роликов, 8 исходных корпусов, 10 видеогенераторов, три типа манипуляторов (грипперы, человеческие руки, ловкие кисти).
• Physical Adherence — первая ось оценки: насколько ролик физически правдоподобен.
• Instruction Alignment — вторая ось: выполняет ли действие в ролике заданную инструкцию.
• RoboJudge-Train — обучающий датасет: 12K видео, 25K проверенных людьми оценок и сгенерированные с помощью моделей обоснования.
• RoboJudge-9B — MLLM на 9B параметров, обученная через SFT и RL; Pearson 0,719 с оценками людей, +0,089 к Gemini-3.7-Flash.
• VideoPhy2 и Physion-Eval — внешние бенчмарки, на которых обучение на RoboJudge-Train тоже дало прирост.

Авторы уже использовали RoboJudge-9B как оценщика, чтобы ранжировать видеогенераторы по двум осям. Код выложен на GitHub в организации Sphere-AI-Lab, есть страница проекта spherelab.ai/RoboJudge. Над работой трудились Siyuan Ma, Yu Qi, Cheng Ye, Ruotian Peng, Xinyi Xu, Zitiantao Lin, Zedong Cai, Yijian Huang, Weiyang Liu, Siyuan Wang и Yandong Wen.

Кому пригодится судья для роботизированного видео

Команды, которые обучают видеомодели как симуляторы для роботов, получают недорогой способ отбраковывать ролики и сравнивать чекпоинты без армии разметчиков. Модель на 9B параметров можно запускать у себя, а не платить за API закрытой модели при каждой оценке. Результат также полезен для RL: надёжный автоматический судья может служить сигналом вознаграждения при дообучении генераторов. Осторожность всё же нужна. Корреляция 0,719 заметно выше конкурентов, но это не совпадение с человеком. Для критичных задач, например обучения политик на синтетических данных для реальных манипуляторов, выборочная проверка людьми остаётся обязательной.