RealityBench : 26 VLM testés sur la documentation de travail physique dans Blender

Des chercheurs présentent RealityBench, un ensemble de onze environnements Blender. Ils y ont testé 26 modèles vision-langage : peuvent-ils comprendre, à partir de l'image d'une caméra de travailleur ou de lunettes connectées, ce que fait la personne, et l'aider à documenter son travail ? Les meilleurs modèles résolvent presque entièrement les tâches où la réponse est écrite en toutes lettres dans l'image. En revanche, ils lisent mal les mesures et évaluent mal les petits détails et les relations spatiales. En validation de clichés, les modèles de tête ne se distinguent pas, en qualité, d'un seul évaluateur non spécialiste.

Pourquoi un benchmark synthétique

L'idée d'assister un travailleur dans le monde physique par des suggestions occupe les agents IA depuis des décennies. L'une des compétences de base consiste à comprendre ce que fait une personne en voyant par ses yeux, puis à l'aider à mettre en forme le résultat. Les données réelles pour tester de tels systèmes sont presque inexistantes : la plupart des enregistrements de travail physique sont fermés, et la variabilité est trop grande pour permettre une comparaison rigoureuse.

Les cuisines et les entrepôts offrent un éclairage, une géométrie et un jeu d'objets prévisibles. Le montage de panneaux solaires sur un toit ou la réparation d'une voiture relèvent d'une autre logique : les conditions ne sont pas bornées et la dispersion est énorme. Les auteurs ont modélisé ces scénarios dans Blender et construit onze environnements, avec deux types de tâches.

• Acceptability : l'angle de prise de vue considéré convient-il comme preuve du travail effectué.
• Documentation : l'agent comprend-il, à partir de cet angle, l'état de l'environnement qui compte pour la tâche.

Ce qu'ont montré les 26 modèles

• Périmètre : 11 environnements Blender, 26 VLM.
• Documentation : les modèles de tête s'en sortent en général lorsque la réponse est du texte dans l'image.
• Points faibles : lecture des mesures, petits détails, relations spatiales, par exemple l'inclinaison d'un mètre ruban.
• Validation des clichés : les meilleurs modèles sont statistiquement indiscernables d'un seul évaluateur non spécialiste.
• Coût d'exécution : dans la fourchette du prix d'une vérification humaine.
• Transfert vers le réel : sur trois questions avec des photos réelles, les classements des modèles obtenus sur les rendus se sont maintenus.

La validation des clichés est plus complexe que la documentation. Les évaluateurs humains divergent entre eux, de sorte que la référence reste floue. Les auteurs ont retenu un évaluateur dont l'accord avec l'avis majoritaire est à peu près aussi fréquent que celui d'un humain pris isolément. Sur cette échelle, les meilleurs modèles ne se distinguent pas d'un évaluateur qui n'a pas participé à la rédaction de l'étude. Leur exécution coûte par ailleurs à peu près autant que le passage d'un humain.

Dans trois environnements, les auteurs ont pu analyser les causes des erreurs de validation. La plupart des faux rejets viennent d'une mauvaise lecture de la scène, et non de l'exigence. Le modèle comprend ce qu'il faut montrer, mais voit mal ce qui figure sur l'image. La faiblesse de la vision sur les petits détails nuit donc directement à l'utilité d'un tel système.

La concordance des classements entre rendus et photos réelles plaide en faveur de l'approche elle-même. L'échantillon est petit, avec seulement trois questions sur des clichés réels : il s'agit donc plutôt d'une vérification de faisabilité que d'une preuve définitive.

Ce que les équipes qui développent des outils d'IA de terrain doivent retenir

Pour les produits à base de lunettes connectées et de rapports photo, la conclusion est pragmatique. La reconnaissance d'inscriptions et de plaques peut déjà être automatisée. Les relevés de mètre ruban, les jeux et les inclinaisons gagnent à être laissés à la vérification d'un humain, ou confirmés par une seconde photo.

Pour évaluer la validation des clichés, comparez le modèle à un seul relecteur humain plutôt qu'à une vérité imaginaire. Lorsque les humains divergent eux-mêmes, cette mesure est plus honnête. Comme l'essentiel des erreurs provient d'une mauvaise lecture de la scène, il vaut mieux améliorer le système au niveau de la perception : angles de prise de vue, gros plans, nouvelle prise de vue. Réécrire les check-lists apportera moins.

Les environnements synthétiques Blender permettent de tester les modèles là où les données réelles sont fermées. Une nouvelle génération de VLM peut y être évaluée avant même l'arrivée des pilotes de terrain.