RoboJev-27B determina o sucesso de um robô em 10 quadros: AUROC de 0,993 no SO-101

Uma parcela enorme dos vídeos de robôs manipuladores não contém o essencial: a marcação de que o robô conseguiu ou não realizar o que era esperado. Josef Liyanjun Chen propõe preencher essa lacuna com o RoboJev-27B, um modelo aberto. Ele recebe como entrada o texto da tarefa, 10 quadros da tentativa e, quando disponíveis, os quadros finais de câmeras auxiliares. Na saída, as probabilidades de sucesso e de fracasso. Em 268 episódios de validação do robô SO-101, o modelo apresenta 95,2% de balanced accuracy e AUROC de 0,993.

Um juiz no lugar da rotulagem manual

A tarefa parece modesta, mas muita coisa depende dela. Os conjuntos de dados para treinar robôs crescem com a contribuição de laboratórios e entusiastas que registram teleoperação e execuções autônomas. Sem a marcação de sucesso, esse material não pode ser filtrado com confiabilidade, nem usado para aprendizado por reforço, nem comparado entre diferentes políticas. Pagar pessoas para assistir a centenas de milhares de vídeos é caro. Pagar por chamadas a APIs fechadas também é.

O RoboJev-27B é uma variante do modelo JEV-27B-VL. O autor treinou um adaptador LoRA de rank 32 na parte de linguagem, mantendo o encoder visual congelado. Os dados somaram 52.598 registros de episódios. Para fontes de pesquisa, foi adicionada uma penalidade KL: ela mantém as previsões mais próximas do modelo original justamente nesses dados, para que o fine-tuning não prejudique o que o modelo já sabia fazer.

Outro achado interessante é a leitura calibrada por dois tokens. O modelo não produz um raciocínio escrito, apenas gera as probabilidades de "sucesso" e "fracasso" em uma única passagem direta. Para avaliações em massa, isso é significativo: o limiar pode ser ajustado conforme a precisão ou a abrangência desejada.

Os números e seu lado oculto

No mesmo robô em que ocorreu o treinamento, tudo parece excelente. Em dados de terceiros, o quadro é mais modesto. Métricas do trabalho:

• 268 episódios de validação do SO-101: balanced accuracy de 95,2%, AUROC de 0,993;
• 459 episódios de laboratórios desconhecidos e de outros robôs: AUROC de 0,890;
• 135 episódios da comunidade com rotulagem inequívoca: acurácia de 93,3%;
• modelo base em um subconjunto de laboratórios e robôs desconhecidos, com as mesmas entradas: AUROC de 0,900.

Essa última linha é importante. Em dados "de outro mundo", a versão ajustada não supera o modelo base: 0,890 contra 0,900. Todo o ganho do fine-tuning aparece apenas onde o robô e as condições de captura já são conhecidos. Para um laboratório que rotula registros da própria plataforma, essa é uma boa notícia. Para quem espera um juiz universal válido para qualquer hardware, é um motivo para testar o modelo com os próprios dados.

O autor também é honesto ao comparar o modelo com VLMs de fronteira via API. Essas recebiam apenas 4 imagens, somente da câmera principal, enquanto o RoboJev-27B recebia mais quadros e ângulos adicionais. As condições não são equivalentes, por isso essa comparação não permite concluir que o modelo aberto de 27B é superior aos gigantes fechados. Parte da vantagem vem do próprio formato de entrada.

Quanto custa e o que se pode aproveitar

Em termos econômicos, o modelo é bastante prático. A mediana por episódio é de 0,26 segundo em uma única H100, com processamento sequencial. Ao preço de US$ 2,69 por hora de GPU, isso dá cerca de US$ 0,19 por 1.000 previsões. Os custos de processamento de mídia e de serving não estão incluídos, e em um pipeline real a decodificação de vídeo pode se tornar um item relevante.

Junto com os pesos, o autor publicou o código de inferência e o registro de avaliação: 20.628 previsões, agrupadas em 29 registros de "modelo/protocolo". Elas podem ser consultadas e usadas para benchmarking reprodutível de detecção de sucesso. A página do projeto é robo-jev.com, e o preprint está disponível como arXiv 2610.33718.

A conclusão prática para equipes que coletam dados em braços SO-101 ou similares de baixo custo: o RoboJev-27B pode ser usado como um primeiro filtro. Ele descarta os fracassos óbvios e prioriza casos para revisão manual. Para dados de outras plataformas, vale primeiro testar uma pequena amostra rotulada e verificar se um AUROC em torno de 0,89 é satisfatório. O limiar de probabilidade deve ser calibrado para cada tarefa específica: a pureza do conjunto de treinamento importa mais do que a abrangência.