RoboJev-27B juge la réussite d'un robot en 10 images : AUROC 0.993 sur SO-101

Une énorme part des vidéos de bras robotiques manque l'essentiel : une indication précisant si le robot a fait ce qu'on attendait de lui. Josef Liyanjun Chen propose de combler ce manque avec un modèle ouvert, RoboJev-27B. Il prend en entrée l'énoncé de la tâche, 10 images de la tentative et, le cas échéant, les images finales de caméras auxiliaires. En sortie, il fournit des probabilités de réussite et d'échec. Sur 268 épisodes de réserve du robot SO-101, il affiche 95,2% de balanced accuracy et un AUROC de 0,993.

Un juge à la place de l'annotation manuelle

La tâche paraît modeste, mais beaucoup en dépend. Les jeux de données pour l'entraînement de robots grossissent grâce aux laboratoires et aux passionnés, qui enregistrent de la téléopération et des exécutions autonomes. Sans étiquette de réussite, ce matériau ne peut ni être filtré de façon fiable, ni servir à l'apprentissage par renforcement, ni permettre de comparer des politiques entre elles. Payer des personnes pour visionner des centaines de milliers de vidéos coûte cher. Payer des appels à des API fermées aussi.

RoboJev-27B est une variante du modèle JEV-27B-VL. L'auteur a entraîné un adaptateur LoRA de rang 32 sur la partie langage et laissé l'encodeur visuel gelé. Les données comptaient 52 598 enregistrements d'épisodes. Pour les sources issues de la recherche, il a ajouté une pénalité KL : elle maintient les prédictions plus proches du modèle d'origine sur ces données précisément, afin que l'affinage n'abîme pas ce que le modèle savait déjà faire.

Autre trouvaille : une lecture calibrée sur deux tokens. Le modèle n'écrit pas de raisonnement ; il produit les probabilités « succès » et « échec » en une seule passe avant. Pour une évaluation à grande échelle, c'est important : on peut déplacer le seuil selon la précision ou le rappel recherchés.

Les chiffres et leur revers

Sur le robot même qui a servi à l'entraînement, tout paraît excellent. Sur des données extérieures, le tableau est plus modeste. Les métriques de l'article :

• 268 épisodes de réserve SO-101 : balanced accuracy de 95,2%, AUROC de 0,993 ;
• 459 épisodes issus de laboratoires inconnus et d'autres robots : AUROC de 0,890 ;
• 135 épisodes de la communauté avec annotation sans ambiguïté : précision de 93,3% ;
• modèle de base sur le sous-ensemble de laboratoires et de robots inconnus, avec les mêmes entrées : AUROC de 0,900.

La dernière ligne est importante. Sur des données « d'un autre monde », la version affinée ne dépasse pas le modèle de base : 0,890 contre 0,900. Tout le gain de l'affinage se manifeste là où le robot et les conditions de prise de vue sont familiers. Pour un laboratoire qui annote les enregistrements de sa propre plateforme, c'est une bonne nouvelle. Pour ceux qui espèrent un juge universel pour n'importe quel matériel, c'est une raison de tester le modèle sur leurs propres données.

L'auteur précise aussi, avec franchise, les limites de la comparaison avec les VLM de pointe accessibles par API. Celles-ci recevaient 4 images seulement, issues de la caméra principale, tandis que RoboJev-27B disposait de plus d'images et d'angles supplémentaires. Les conditions ne sont pas égales : cette comparaison ne permet donc pas de conclure qu'un modèle ouvert de 27B surpasse les géants fermés. Une partie de l'avantage vient du format d'entrée lui-même.

Combien ça coûte et ce que l'on peut récupérer

Sur le plan économique, le modèle semble pratique. La médiane par épisode est de 0,26 seconde sur une seule H100, en traitement séquentiel. Au tarif de $2,69 l'heure de GPU, cela donne environ $0,19 pour 1000 prédictions. Le traitement des médias et le serving ne sont pas inclus, et dans un pipeline réel, le décodage vidéo peut devenir un poste de coût notable.

Avec les poids, l'auteur a publié le code d'inférence et le journal d'évaluation : 20 628 prédictions regroupées en 29 entrées « modèle/protocole ». On peut les parcourir et s'en servir pour un benchmarking reproductible de la détection de réussite. La page du projet est robo-jev.com, le preprint est arXiv 2610.33718.

Conclusion pratique pour les équipes qui collectent des données sur SO-101 ou sur des bras peu coûteux similaires : RoboJev-27B peut servir de premier filtre. Il écartera les échecs évidents et hiérarchisera les cas à vérifier manuellement. Pour des données issues de plateformes tierces, mieux vaut d'abord passer un petit échantillon annoté et vérifier qu'un AUROC d'environ 0,89 convient. Il vaut mieux calibrer le seuil de probabilité selon sa propre tâche : la pureté du jeu d'entraînement prime sur le rappel.