RoboJudge-9B juzga videos de robots con más precisión que Gemini: correlación con humanos de 0,719

Los modelos de generación de video se perfilan como cimiento de los «modelos del mundo» para robots: primero la red neuronal dibuja cómo se vería la ejecución de una tarea y, a partir de esa imagen, se pueden planificar acciones o entrenar políticas. La idea funciona solo si se cumplen dos condiciones: el video debe ser físicamente correcto y las acciones que muestra deben corresponder a la instrucción. Comprobarlo a mano a gran escala es imposible, así que el papel de juez recae cada vez más en LLM multimodales.

Investigadores de la Universidad China de Hong Kong quisieron averiguar hasta qué punto esos jueces coinciden con las personas y, como resultado, reunieron un conjunto completo de herramientas llamado RoboJudge. El mejor modelo del conjunto, RoboJudge-9B, logra una correlación de Pearson de 0,719 con las valoraciones humanas.

Dónde fallan los jueces universales

La pieza central es RoboJudge-Bench. Incluye 800 videos con anotación humana procedentes de 8 corpus de origen y generados por 10 modelos de video distintos. Los videos abarcan tres tipos de «cuerpo»: pinzas simples (grippers), manos humanas y manos diestras de múltiples dedos (dexterous hands). Cada video se evalúa en dos ejes: Physical Adherence (cumplimiento de la física) e Instruction Alignment (correspondencia con la instrucción).

Los resultados son desiguales. Los MLLM de propósito general coinciden claramente menos con los humanos en física: un objeto puede atravesar los dedos o cambiar de forma sin que el modelo juez lo advierta. Los jueces de video especializados, entrenados en razonamiento físico de propósito general, se trasladan de forma inestable a las escenas robóticas. Es decir, un juez «físico» entrenado con video convencional no garantiza que entienda el contacto del manipulador con el objeto.

Cómo un benchmark dio lugar a un juez de 9.000 millones de parámetros

Como respuesta, los autores crearon el dataset de entrenamiento RoboJudge-Train: 12 mil videos y 25 mil valoraciones verificadas por personas. A las valoraciones se añadieron justificaciones redactadas con ayuda de modelos (model-assisted rationales), para que el juez aprenda a explicar su veredicto y no se limite a emitir un número. Con estos datos se afinó un MLLM de 9.000 millones de parámetros en dos etapas: primero supervised learning y después reinforcement learning. El resultado es RoboJudge-9B.

La cifra principal: entre todos los jueces probados en RoboJudge-Bench, es el que muestra mayor acuerdo global con los humanos. La correlación de Pearson es de 0,719. Eso son 0,089 más que Gemini-3.7-Flash, el baseline propietario más fuerte de esta comparación. Los autores subrayan que la mejora es estadísticamente significativa. De estas cifras se deduce que la correlación de Gemini-3.7-Flash ronda el 0,63. Un modelo especializado y pequeño superó a un competidor cerrado en su propio terreno.

El entrenamiento con RoboJudge-Train también ayudó en pruebas externas, entre ellas VideoPhy2 y Physion-Eval. Es decir, el juez no se limitó a memorizar las particularidades de un solo benchmark.

Qué incluye el conjunto

• RoboJudge-Bench — benchmark para evaluar MLLM como jueces de video encarnado (embodied): 800 videos anotados por humanos, 8 corpus de origen, 10 generadores de video, tres tipos de manipuladores (grippers, manos humanas, manos diestras).
• Physical Adherence — primer eje de evaluación: cuán verosímil es el video desde el punto de vista físico.
• Instruction Alignment — segundo eje: si la acción del video cumple la instrucción dada.
• RoboJudge-Train — dataset de entrenamiento: 12K videos, 25K valoraciones verificadas por humanos y justificaciones generadas con ayuda de modelos.
• RoboJudge-9B — MLLM de 9B parámetros entrenado mediante SFT y RL; Pearson de 0,719 con las valoraciones humanas, +0,089 respecto a Gemini-3.7-Flash.
• VideoPhy2 y Physion-Eval — benchmarks externos en los que el entrenamiento con RoboJudge-Train también produjo una mejora.

Los autores ya han usado RoboJudge-9B como evaluador para clasificar generadores de video según los dos ejes. El código está publicado en GitHub, en la organización Sphere-AI-Lab, y hay una página del proyecto en spherelab.ai/RoboJudge. El trabajo es de Siyuan Ma, Yu Qi, Cheng Ye, Ruotian Peng, Xinyi Xu, Zitiantao Lin, Zedong Cai, Yijian Huang, Weiyang Liu, Siyuan Wang y Yandong Wen.

A quién le sirve un juez de video robótico

Los equipos que entrenan modelos de video como simuladores para robots obtienen una forma económica de descartar videos y comparar checkpoints sin un ejército de anotadores. Un modelo de 9B parámetros se puede ejecutar en local, en lugar de pagar por la API de un modelo cerrado en cada evaluación. El resultado también es útil para RL: un juez automático fiable puede servir como señal de recompensa al afinar generadores.

Aun así, conviene ser prudente. Una correlación de 0,719 está claramente por encima de la de sus competidores, pero no equivale a coincidir con el criterio humano. En tareas críticas, como el entrenamiento de políticas con datos sintéticos para manipuladores reales, la verificación por muestreo a cargo de personas sigue siendo obligatoria.