RoboJev-27B avalia o sucesso de um robô em 10 quadros: AUROC 0.993 no SO-101

Grande parte dos vídeos de robôs manipuladores não traz a informação mais importante: uma marcação dizendo se o robô fez o que se esperava dele. Josef Liyanjun Chen propõe resolver esse problema com um modelo aberto, o RoboJev-27B. A entrada é o texto da tarefa, 10 quadros da tentativa e, quando existem, os quadros finais de câmeras auxiliares. A saída são as probabilidades de sucesso e de falha. Em 268 episódios separados para teste com o robô SO-101, o modelo alcança 95,2% de balanced accuracy e AUROC de 0,993.

Um juiz no lugar da anotação manual

A tarefa parece modesta, mas muita coisa depende dela. Os datasets para treinar robôs crescem graças a laboratórios e entusiastas que gravam teleoperação e execuções autônomas. Sem um rótulo de sucesso, esse material não pode ser filtrado de forma confiável, nem usado em aprendizado por reforço, nem servir para comparar políticas entre si. Pagar pessoas para assistir a centenas de milhares de vídeos é caro. Pagar por chamadas a APIs fechadas também.

O RoboJev-27B é uma variante do modelo JEV-27B-VL. O autor treinou na parte de linguagem um adaptador LoRA de rank 32 e manteve o encoder visual congelado. Os dados somaram 52 598 registros de episódios. Para as fontes de pesquisa, foi adicionada uma penalidade KL: ela mantém as previsões mais próximas das do modelo original nesses dados específicos, para que o ajuste fino não estrague o que o modelo já sabia fazer.

Outro destaque é a leitura calibrada por dois tokens. O modelo não escreve um raciocínio: ele devolve as probabilidades de "sucesso" e "falha" em uma única passada direta. Para avaliação em larga escala, isso faz diferença, porque o limiar pode ser ajustado conforme a precisão ou o recall desejados.

Os números e o outro lado

No mesmo robô usado no treinamento, tudo parece ótimo. Em dados de outras origens, o quadro é mais modesto. As métricas do trabalho:

• 268 episódios separados para teste com o SO-101: balanced accuracy de 95,2%, AUROC de 0,993;
• 459 episódios de laboratórios desconhecidos e de outros robôs: AUROC de 0,890;
• 135 episódios da comunidade com anotação inequívoca: precisão de 93,3%;
• modelo base em um subconjunto de laboratórios e robôs desconhecidos, com as mesmas entradas: AUROC de 0,900.

A última linha é importante. Em dados "de outro mundo", a versão ajustada não supera a base: 0,890 contra 0,900. Todo o ganho do ajuste fino aparece onde o robô e as condições de filmagem são conhecidos. Para um laboratório que anota gravações da própria plataforma, é uma boa notícia. Para quem espera um juiz universal para qualquer hardware, é um motivo para testar o modelo nos próprios dados.

O autor também faz ressalvas sobre a comparação com VLMs de fronteira acessadas por API. Elas receberam 4 imagens apenas da câmera principal, enquanto o RoboJev-27B recebeu mais quadros e ângulos adicionais. As condições não são iguais, então essa comparação não permite concluir que um modelo aberto de 27B é melhor que os gigantes fechados. Parte da vantagem vem do próprio formato da entrada.

Quanto custa e o que dá para aproveitar

Na parte econômica, o modelo parece prático. A mediana é de 0,26 segundo por episódio em uma única H100, com processamento sequencial. Com o preço de $2,69 por hora de GPU, isso resulta em cerca de $0,19 por 1000 previsões. Os custos de processamento de mídia e de serving não estão incluídos, e, em um pipeline real, a decodificação de vídeo pode se tornar um item relevante.

Junto com os pesos, o autor publicou o código de inferência e o log de avaliação: 20 628 previsões, agrupadas em 29 registros "modelo/protocolo". Eles podem ser consultados e usados para benchmarking reproduzível de detecção de sucesso. A página do projeto é robo-jev.com, e o preprint está no arXiv 2610.33718.

A conclusão prática para equipes que coletam dados no SO-101 ou em braços baratos semelhantes: o RoboJev-27B pode servir como primeiro filtro. Ele descarta as falhas óbvias e define prioridades para a revisão manual. Para dados de plataformas de terceiros, vale primeiro rodar uma pequena amostra anotada e verificar se um AUROC em torno de 0,89 é aceitável. O limiar de probabilidade deve ser calibrado para a sua tarefa: a pureza do conjunto de treinamento importa mais que o recall.