RoboJev-27B determina si un robot lo logró con 10 fotogramas: AUROC 0.993 en SO-101

Gran parte del vídeo de robots manipuladores carece de lo esencial: una marca que indique si el robot logró lo que se le pedía. Josef Liyanjun Chen propone cubrir ese hueco con un modelo abierto, RoboJev-27B. Como entrada recibe el texto de la tarea, 10 fotogramas del intento y, si existen, los fotogramas finales de las cámaras auxiliares. La salida son las probabilidades de éxito y de fallo. En 268 episodios reservados del robot SO-101, el modelo logra una balanced accuracy de 95,2% y un AUROC de 0,993.

Un juez en lugar del etiquetado manual

La tarea parece modesta, pero de ella depende mucho. Los datasets para entrenar robots crecen gracias a laboratorios y aficionados que graban teleoperación y ejecuciones autónomas. Sin una etiqueta de éxito, ese material no se puede filtrar de forma fiable, ni usar para aprendizaje por refuerzo, ni emplear para comparar políticas entre sí. Pagar a personas por revisar cientos de miles de vídeos es caro. Pagar por llamadas a API cerradas también.

RoboJev-27B es una variante del modelo JEV-27B-VL. El autor entrenó en la parte de lenguaje un adaptador LoRA de rango 32 y dejó congelado el codificador visual. El conjunto de datos contenía 52 598 registros de episodios. Para las fuentes de investigación añadió una penalización KL, que mantiene las predicciones más cerca del modelo original precisamente en esos datos, de modo que el ajuste fino no estropee lo que el modelo ya sabía hacer.

Otro hallazgo es la lectura calibrada a partir de dos tokens. El modelo no redacta un razonamiento: emite las probabilidades de «éxito» y «fallo» en una sola pasada. Para la evaluación masiva esto es relevante, porque el umbral se puede mover según la precisión o la exhaustividad (recall) que se necesiten.

Las cifras y su reverso

En el mismo robot con el que se entrenó, todo luce muy bien. Con datos ajenos, el panorama es más modesto. Estas son las métricas del trabajo:

• 268 episodios reservados de SO-101: balanced accuracy de 95,2%, AUROC de 0,993;
• 459 episodios de laboratorios desconocidos y de otros robots: AUROC de 0,890;
• 135 episodios de la comunidad con etiquetado inequívoco: precisión de 93,3%;
• modelo base en el subconjunto de laboratorios y robots desconocidos, con las mismas entradas: AUROC de 0,900.

La última línea es importante. Con datos «de otro mundo», la versión afinada no supera a la base: 0,890 frente a 0,900. Toda la ganancia del ajuste fino aparece donde el robot y las condiciones de grabación resultan familiares. Para un laboratorio que etiqueta grabaciones de su propia plataforma, es una buena noticia. Para quien espera un juez universal para cualquier hardware, es un motivo para validar el modelo con sus propios datos.

El autor también matiza con honestidad la comparación con los VLM de frontera accesibles por API. Estos recibieron 4 imágenes solo de la cámara principal, mientras que RoboJev-27B recibió más fotogramas y ángulos adicionales. Las condiciones no son iguales, así que esta comparación no permite concluir que un modelo abierto de 27B sea mejor que los gigantes cerrados. Parte de la ventaja procede del propio formato de entrada.

Cuánto cuesta y qué se puede aprovechar

En términos económicos, el modelo resulta práctico. La mediana por episodio es de 0,26 segundos en una sola H100 con procesamiento secuencial. Con un precio de $2,69 por hora de GPU, salen unos $0,19 por 1000 predicciones. En esta cifra no entran el procesamiento de medios ni el serving, y en un pipeline real la decodificación de vídeo puede convertirse en una partida notable.

Junto con los pesos, el autor ha publicado el código de inferencia y el registro de evaluación: 20 628 predicciones agrupadas en 29 entradas «modelo/protocolo». Se pueden consultar y usar para un benchmarking reproducible de la detección de éxito. La página del proyecto es robo-jev.com y el preprint, arXiv 2610.33718.

La conclusión práctica para los equipos que recopilan datos con SO-101 u otros brazos económicos similares: RoboJev-27B puede servir como primer filtro. Descartará los fallos evidentes y ayudará a priorizar la revisión manual. Con datos de plataformas ajenas, conviene pasar antes una pequeña muestra etiquetada y comprobar que un AUROC de en torno a 0,89 es suficiente. El umbral de probabilidad conviene calibrarlo según la tarea: la limpieza del conjunto de entrenamiento importa más que la exhaustividad.