RoboJev-27B determina el éxito de un robot a partir de 10 fotogramas: AUROC 0,993 en SO-101

Una enorme parte de los vídeos de robots manipuladores no contiene lo más importante: la marca de si el robot logró hacer lo que se le pedía. Josef Liyanjun Chen propone cerrar ese vacío con un modelo abierto llamado RoboJev-27B. Recibe como entrada el texto de la tarea, 10 fotogramas del intento y, si los hay, los fotogramas finales de cámaras auxiliares. Como salida ofrece las probabilidades de éxito y de fracaso. En 268 episodios reservados del robot SO-101 muestra un 95,2% de balanced accuracy y un AUROC de 0,993.

Un juez en lugar del etiquetado manual

La tarea parece modesta, pero de ella depende mucho. Los conjuntos de datos para entrenar robots crecen gracias a laboratorios y aficionados que registran teleoperación y ejecuciones autónomas. Sin una etiqueta de éxito, ese material no puede filtrarse de forma fiable, ni usarse para aprendizaje por refuerzo, ni servir para comparar políticas entre sí. Pagar a personas para que revisen cientos de miles de vídeos resulta caro. Pagar por llamadas a APIs cerradas, también.

RoboJev-27B es una variante del modelo JEV-27B-VL. El autor entrenó en la parte lingüística un adaptador LoRA de rango 32, dejando el encoder visual congelado. Los datos de entrenamiento fueron 52.598 registros de episodios. Para las fuentes de investigación se añadió una penalización KL: mantiene las predicciones cercanas al modelo original precisamente en esos datos, de modo que el ajuste fino no estropee lo que el modelo ya sabía hacer.

Un hallazgo particular es la lectura calibrada mediante dos tokens. El modelo no escribe un razonamiento, sino que entrega las probabilidades de "éxito" y "fracaso" en un único paso hacia delante. Para la evaluación masiva esto resulta clave: el umbral puede ajustarse según se necesite priorizar precisión o exhaustividad.

Las cifras y su cara oculta

En el mismo robot con el que se entrenó, todo luce excelente. En datos ajenos el panorama es más modesto. Las métricas del trabajo son:

• 268 episodios reservados de SO-101: balanced accuracy del 95,2%, AUROC de 0,993;
• 459 episodios de laboratorios desconocidos y de otros robots: AUROC de 0,890;
• 135 episodios de la comunidad con etiquetado inequívoco: precisión del 93,3%;
• modelo base en un subconjunto de laboratorios y robots desconocidos, con las mismas entradas: AUROC de 0,900.

Esta última línea es relevante. En datos "de otro mundo", la versión ajustada no supera a la base: 0,890 frente a 0,900. Toda la ganancia del ajuste fino se manifiesta donde el robot y las condiciones de grabación son conocidos. Para un laboratorio que etiqueta registros de su propia plataforma, es una buena noticia. Para quienes esperan un juez universal válido para cualquier hardware, es motivo para validar el modelo con sus propios datos.

El autor también es honesto respecto a la comparación con VLM de vanguardia mediante API. Esos modelos recibieron solo 4 imágenes de la cámara principal, mientras que RoboJev-27B recibió más fotogramas y ángulos adicionales. Las condiciones no son equivalentes, por lo que de esta comparación no puede concluirse que el modelo abierto de 27B supere a los gigantes cerrados. Parte de la ventaja proviene del propio formato de entrada.

Cuánto cuesta y qué se puede aprovechar

En términos económicos, el modelo resulta práctico. La mediana por episodio es de 0,26 segundos en una sola H100 con procesamiento secuencial. Con un precio de $2,69 por hora de GPU, el coste es de unos $0,19 por cada 1000 predicciones. Esto no incluye el coste de procesar los medios ni el de servir el modelo, y en un pipeline real la decodificación de vídeo puede convertirse en una partida significativa.

Junto con los pesos, el autor publicó el código de inferencia y un registro de evaluación: 20.628 predicciones agrupadas en 29 entradas de "modelo/protocolo". Pueden consultarse y usarse para realizar benchmarking reproducible de detección de éxito. La página del proyecto es robo-jev.com, y el preprint está disponible como arXiv 2610.33718.

La conclusión práctica para los equipos que recopilan datos en SO-101 o brazos económicos similares: RoboJev-27B puede usarse como primer filtro. Descartará los fracasos evidentes y priorizará los casos que requieren revisión manual. Para datos de plataformas ajenas, conviene primero probar con una pequeña muestra etiquetada y confirmar que un AUROC cercano a 0,89 resulta aceptable. Es recomendable calibrar el umbral de probabilidad según la tarea propia: la limpieza del conjunto de entrenamiento importa más que la exhaustividad.