RoboJev-27B juge la réussite d'un robot en 10 images : AUROC de 0,993 sur SO-101

Une immense partie des vidéos de robots manipulateurs ne contient pas l'essentiel : la mention indiquant si le robot a réussi ce qu'on attendait de lui. Josef Liyanjun Chen propose de combler cette lacune avec RoboJev-27B, un modèle ouvert. Il reçoit en entrée le texte de la tâche, 10 images d'une tentative et, le cas échéant, les images finales issues de caméras auxiliaires. En sortie, il fournit les probabilités de réussite et d'échec. Sur 268 épisodes retenus du robot SO-101, il affiche 95,2% de balanced accuracy et un AUROC de 0,993.

Un juge à la place de l'annotation manuelle

La tâche paraît modeste, mais beaucoup en dépend. Les jeux de données pour entraîner des robots croissent grâce aux laboratoires et aux passionnés qui enregistrent des sessions de téléopération et des essais autonomes. Sans étiquette de réussite, ce matériau ne peut être ni filtré honnêtement, ni utilisé pour l'apprentissage par renforcement, ni servir à comparer des politiques entre elles. Payer des humains pour visionner des centaines de milliers de vidéos coûte cher. Payer pour des appels à des API fermées aussi.

RoboJev-27B est une variante du modèle JEV-27B-VL. L'auteur a entraîné sur la partie langage un adaptateur LoRA de rang 32, en laissant l'encodeur visuel gelé. Les données comptaient 52 598 enregistrements d'épisodes. Pour les sources issues de la recherche, une pénalité KL a été ajoutée : elle maintient les prédictions proches du modèle d'origine spécifiquement sur ces données, afin que l'affinage ne dégrade pas ce que le modèle savait déjà faire.

Une trouvaille à part : la lecture calibrée sur deux tokens. Le modèle ne rédige pas de raisonnement, il produit les probabilités « réussite » et « échec » en un seul passage avant. Pour une évaluation à grande échelle, c'est déterminant : le seuil peut être ajusté selon la précision ou le rappel souhaités.

Les chiffres et leur revers

Sur le robot même sur lequel l'entraînement a eu lieu, tout semble excellent. Sur des données étrangères, le tableau est plus modeste. Les métriques tirées des travaux :

• 268 épisodes retenus de SO-101 : balanced accuracy de 95,2%, AUROC de 0,993 ;
• 459 épisodes issus de laboratoires et de robots inconnus : AUROC de 0,890 ;
• 135 épisodes de la communauté avec une annotation sans ambiguïté : précision de 93,3% ;
• modèle de base sur un sous-ensemble de laboratoires et robots inconnus avec les mêmes entrées : AUROC de 0,900.

Cette dernière ligne est importante. Sur des données « d'un autre monde », la version affinée ne dépasse pas le modèle de base : 0,890 contre 0,900. Tout le gain de l'affinage se manifeste là où le robot et les conditions de tournage sont connus. Pour un laboratoire qui annote les enregistrements de sa propre plateforme, c'est une bonne nouvelle. Pour ceux qui espèrent un juge universel valable pour n'importe quel matériel, c'est une raison de tester le modèle sur leurs propres données.

L'auteur formule aussi une réserve honnête sur la comparaison avec des VLM de pointe accessibles par API. Celles-ci recevaient seulement 4 images provenant uniquement de la caméra principale, tandis que RoboJev-27B disposait de davantage d'images et d'angles supplémentaires. Les conditions n'étant pas égales, cette comparaison ne permet pas de conclure que le modèle ouvert de 27 milliards de paramètres surpasse les géants fermés. Une partie de l'avantage vient simplement du format d'entrée lui-même.

Combien ça coûte et ce qu'on peut en retenir

Sur le plan économique, le modèle paraît pratique. La médiane par épisode est de 0,26 seconde sur un seul H100, en traitement séquentiel. Au tarif de 2,69 $ l'heure de GPU, cela donne environ 0,19 $ pour 1000 prédictions. Les coûts de traitement des médias et de mise en service ne sont pas inclus, et dans un pipeline réel, le décodage vidéo peut devenir un poste de dépense non négligeable.

Avec les poids du modèle, l'auteur a publié le code d'inférence et un journal d'évaluation : 20 628 prédictions regroupées en 29 enregistrements « modèle/protocole ». Ils peuvent être consultés et utilisés pour un benchmarking reproductible de la détection de réussite. La page du projet est robo-jev.com, le préprint est référencé sous arXiv 2610.33718.

Conclusion pratique pour les équipes qui collectent des données sur SO-101 ou des bras similaires à bas coût : RoboJev-27B peut servir de premier filtre. Il écartera les échecs évidents et établira des priorités pour la vérification manuelle. Pour des données issues d'autres plateformes, mieux vaut d'abord faire passer un petit échantillon annoté et vérifier qu'un AUROC autour de 0,89 convient. Le seuil de probabilité gagne à être calibré selon sa propre tâche : la propreté du jeu d'entraînement prime sur l'exhaustivité.