RoboJudge-9B juge les vidéos de robots plus précisément que Gemini : corrélation de 0,719 avec les humains

On cherche à faire des modèles de génération vidéo le socle des « modèles du monde » pour les robots : le réseau de neurones commence par générer l'exécution d'une tâche en images, puis cette séquence sert à planifier des actions ou à entraîner des politiques. L'idée ne fonctionne que si deux conditions sont réunies. La vidéo doit être physiquement correcte, et les actions montrées doivent respecter l'instruction.

Vérifier cela à la main à grande échelle est impossible : on confie donc de plus en plus le rôle de juge à des LLM multimodaux. Des chercheurs de l'Université chinoise de Hong Kong ont voulu mesurer dans quelle mesure ces juges s'accordent réellement avec les humains. Ils en ont tiré toute une boîte à outils baptisée RoboJudge.

Le meilleur modèle de l'ensemble, RoboJudge-9B, affiche une corrélation de Pearson de 0,719 avec les évaluations humaines.

Où les juges généralistes se trompent

Le socle de l'ensemble est RoboJudge-Bench. Il comprend 800 vidéos annotées par des humains, issues de 8 corpus sources et générées par 10 modèles vidéo différents. Les vidéos couvrent trois types de « corps » : de simples pinces (grippers), des mains humaines et des mains articulées à plusieurs doigts (dexterous hands). Chaque vidéo est évaluée selon deux axes : Physical Adherence (respect de la physique) et Instruction Alignment (conformité à l'instruction).

Les résultats sont inégaux. Les MLLM généralistes s'accordent nettement moins bien avec les humains sur la physique : un objet peut traverser les doigts ou changer de forme sans que le modèle juge s'en aperçoive. Les juges vidéo spécialisés, entraînés sur du raisonnement physique généraliste, se transposent de façon instable aux scènes robotiques. Autrement dit, un juge « physique » issu de la vidéo classique ne garantit pas de comprendre le contact entre un manipulateur et un objet.

Comment le benchmark a donné naissance à un juge de 9 milliards de paramètres

En réponse, les auteurs ont constitué un jeu de données d'entraînement, RoboJudge-Train : 12 mille vidéos et 25 mille notes vérifiées par des humains. Ces notes sont accompagnées de justifications rédigées avec l'aide de modèles (model-assisted rationales), afin que le juge apprenne à expliquer son verdict plutôt qu'à simplement produire un chiffre. Sur ces données, ils ont affiné en deux étapes un MLLM de 9 milliards de paramètres : d'abord un apprentissage supervisé (supervised learning), puis un apprentissage par renforcement (reinforcement learning). Le résultat est RoboJudge-9B.

Le chiffre clé : parmi tous les juges testés sur RoboJudge-Bench, c'est lui qui affiche l'accord global le plus élevé avec les humains. Sa corrélation de Pearson atteint 0,719. C'est 0,089 de plus que Gemini-3.7-Flash, la meilleure référence propriétaire de cette comparaison. Les auteurs soulignent que ce gain est statistiquement significatif. Ces chiffres impliquent que la corrélation de Gemini-3.7-Flash s'établit autour de 0,63. Un petit modèle spécialisé a donc battu un concurrent fermé sur son propre terrain.

L'entraînement sur RoboJudge-Train a aussi aidé sur des tests externes, notamment VideoPhy2 et Physion-Eval. Le juge n'a donc pas simplement mémorisé les spécificités d'un seul benchmark.

Ce que contient l'ensemble

• RoboJudge-Bench — benchmark pour évaluer les MLLM comme juges de vidéos incarnées (embodied) : 800 vidéos annotées par des humains, 8 corpus sources, 10 générateurs vidéo, trois types de manipulateurs (grippers, mains humaines, mains articulées).
• Physical Adherence — premier axe d'évaluation : la vraisemblance physique de la vidéo.
• Instruction Alignment — second axe : l'action montrée dans la vidéo exécute-t-elle l'instruction donnée ?
• RoboJudge-Train — jeu de données d'entraînement : 12K vidéos, 25K notes vérifiées par des humains et justifications générées avec l'aide de modèles.
• RoboJudge-9B — MLLM de 9B paramètres entraîné par SFT puis RL ; Pearson de 0,719 avec les notes humaines, +0,089 par rapport à Gemini-3.7-Flash.
• VideoPhy2 et Physion-Eval — benchmarks externes sur lesquels l'entraînement sur RoboJudge-Train a lui aussi apporté un gain.

Les auteurs ont déjà utilisé RoboJudge-9B comme évaluateur pour classer des générateurs vidéo selon les deux axes. Le code est publié sur GitHub, dans l'organisation Sphere-AI-Lab, et une page de projet est disponible à l'adresse spherelab.ai/RoboJudge. Ont travaillé sur ce projet : Siyuan Ma, Yu Qi, Cheng Ye, Ruotian Peng, Xinyi Xu, Zitiantao Lin, Zedong Cai, Yijian Huang, Weiyang Liu, Siyuan Wang et Yandong Wen.

À qui servira un juge de vidéos robotiques

Les équipes qui entraînent des modèles vidéo comme simulateurs pour robots disposent d'un moyen peu coûteux d'écarter des vidéos et de comparer des checkpoints sans armée d'annotateurs. Un modèle de 9B paramètres peut tourner en local, sans payer l'API d'un modèle fermé à chaque évaluation. Le résultat est aussi utile pour le RL : un juge automatique fiable peut servir de signal de récompense lors de l'affinage de générateurs.

La prudence reste toutefois de mise. Une corrélation de 0,719 est nettement supérieure à celle des concurrents, mais elle ne signifie pas un accord total avec l'humain. Pour les tâches critiques, comme l'entraînement de politiques sur des données synthétiques destinées à de vrais manipulateurs, une vérification par sondage par des humains reste obligatoire.