RoboJudge-9B avalia vídeos de robôs com mais precisão que o Gemini: correlação de 0,719 com humanos

Os modelos de geração de vídeo estão sendo cotados como alicerce dos «modelos de mundo» para robôs: primeiro a rede neural desenha como a tarefa será executada, e depois essa imagem serve para planejar ações ou treinar políticas. A ideia só funciona se duas condições forem atendidas. O vídeo precisa ser fisicamente correto, e as ações mostradas precisam corresponder à instrução.

Verificar isso manualmente em larga escala é inviável, por isso o papel de juiz passa cada vez mais para LLMs multimodais. Pesquisadores da Universidade Chinesa de Hong Kong decidiram medir o quanto esses juízes realmente concordam com humanos e, no fim, montaram um conjunto completo de ferramentas chamado RoboJudge. O melhor modelo do conjunto, o RoboJudge-9B, atinge correlação de Pearson de 0,719 com as avaliações humanas.

Onde os juízes de uso geral erram

A base do conjunto é o RoboJudge-Bench. Ele reúne 800 vídeos com anotação humana, vindos de 8 corpora de origem e gerados por 10 modelos de vídeo diferentes. Os vídeos cobrem três tipos de «corpo»: garras simples (grippers), mãos humanas e mãos robóticas hábeis de vários dedos (dexterous hands). Cada vídeo é avaliado em dois eixos: Physical Adherence (aderência à física) e Instruction Alignment (alinhamento com a instrução).

Os resultados foram irregulares. Os MLLMs de uso geral concordam com os humanos de forma visivelmente mais fraca justamente na física: um objeto pode atravessar os dedos ou mudar de forma, e o modelo juiz não percebe. Os juízes de vídeo especializados, treinados em raciocínio físico de propósito geral, se transferem de forma instável para cenas de robótica. Ou seja, um juiz «físico» pronto, treinado em vídeo comum, não garante que vá entender o contato do manipulador com o objeto.

Como o benchmark deu origem a um juiz de 9 bilhões de parâmetros

Como resposta, os autores montaram o dataset de treinamento RoboJudge-Train: 12 mil vídeos e 25 mil avaliações verificadas por humanos. As notas vêm acompanhadas de justificativas escritas com apoio de modelos (model-assisted rationales), para que o juiz aprenda a explicar o veredito, e não apenas a devolver um número. Com esses dados, um MLLM de 9 bilhões de parâmetros passou por ajuste fino em duas etapas: primeiro supervised learning, depois reinforcement learning. O resultado é o RoboJudge-9B.

O número principal: entre todos os juízes testados no RoboJudge-Bench, ele tem a maior concordância geral com os humanos. A correlação de Pearson é de 0,719. São 0,089 a mais que o Gemini-3.7-Flash, o baseline proprietário mais forte nessa comparação. Os autores ressaltam que o ganho é estatisticamente significativo. Pelos números, a correlação do Gemini-3.7-Flash fica em torno de 0,63. Um modelo especializado pequeno superou o concorrente fechado no território dele.

O treinamento no RoboJudge-Train também ajudou em testes externos, incluindo o VideoPhy2 e o Physion-Eval. Ou seja, o juiz não apenas decorou as particularidades de um único benchmark.

O que o conjunto inclui

• RoboJudge-Bench — benchmark para avaliar MLLMs como juízes de vídeo embodied: 800 vídeos anotados por humanos, 8 corpora de origem, 10 geradores de vídeo, três tipos de manipuladores (grippers, mãos humanas, mãos hábeis).
• Physical Adherence — o primeiro eixo de avaliação: quão plausível é o vídeo do ponto de vista físico.
• Instruction Alignment — o segundo eixo: se a ação mostrada no vídeo cumpre a instrução dada.
• RoboJudge-Train — dataset de treinamento: 12K vídeos, 25K avaliações verificadas por humanos e justificativas geradas com apoio de modelos.
• RoboJudge-9B — MLLM de 9B parâmetros, treinado com SFT e RL; Pearson de 0,719 com as avaliações humanas, +0,089 sobre o Gemini-3.7-Flash.
• VideoPhy2 e Physion-Eval — benchmarks externos em que o treinamento no RoboJudge-Train também trouxe ganho.

Os autores já usaram o RoboJudge-9B como avaliador para ranquear geradores de vídeo nos dois eixos. O código está no GitHub, na organização Sphere-AI-Lab, e há uma página do projeto em spherelab.ai/RoboJudge. Participaram do trabalho Siyuan Ma, Yu Qi, Cheng Ye, Ruotian Peng, Xinyi Xu, Zitiantao Lin, Zedong Cai, Yijian Huang, Weiyang Liu, Siyuan Wang e Yandong Wen.

Para quem serve um juiz de vídeo robótico

Equipes que treinam modelos de vídeo como simuladores para robôs ganham uma forma barata de descartar vídeos ruins e comparar checkpoints sem um exército de anotadores. Um modelo de 9B parâmetros pode rodar localmente, sem pagar pela API de um modelo fechado a cada avaliação. O resultado também é útil para RL: um juiz automático confiável pode servir de sinal de recompensa no ajuste fino de geradores. Ainda assim, é preciso cautela. A correlação de 0,719 é bem superior à dos concorrentes, mas não equivale à concordância com um humano. Em tarefas críticas, como o treinamento de políticas com dados sintéticos para manipuladores reais, a verificação amostral por humanos continua obrigatória.