HOLI-World apprend à un modèle 4B à comprendre le monde à partir d'enregistrements à la première personne

L'équipe de HOLI-World propose de transformer un flux d'enregistrements à la première personne en matériau d'entraînement pour des modèles censés comprendre la structure d'une scène et ses changements dans le temps. L'ensemble repose sur un jeu de données modeste à l'échelle de l'industrie : environ 100 scènes filmées par les auteurs eux-mêmes et environ 80 000 paires « question — réponse ». Un modèle vision-langage compact, HOLIWORLD-VL-4B, a été entraîné dessus. Le pari central du travail : on peut remplacer la coûteuse annotation manuelle par un pipeline automatique, à condition de bien relier la structure statique de la scène à la dynamique des objets.

Les composants de l'écosystème

HOLI-World est décrit comme une chaîne de cinq maillons : capture de l'expérience, représentation du monde, construction automatique des données, entraînement du modèle et évaluation indépendante. Le composant central est HOLIWORLD-Foundry. Il combine deux types de perception. La perception statique gère la géométrie stable et la sémantique de la scène ; la perception dynamique suit l'évolution de l'état des objets. En sortie, on obtient des « enregistrements du monde » (world records) : la scène, les objets et l'historique des interactions y sont reliés entre eux, ainsi qu'aux observations vidéo qui les confirment.

Cette mise en relation compte pour les données egocentriques. Une caméra portée sur la tête change constamment d'angle, les objets sortent du champ puis y reviennent, et une tasse a pu être déplacée pendant que personne ne la regardait. Un modèle qui ne voit que des images isolées perd ces liens.

Données, modèle, benchmark

HOLIWORLD-Data est construit à partir de ces enregistrements, puis HOLIWORLD-VL-4B est entraîné dessus. Les auteurs ont aussi créé HOLIWORLD-Bench à part : il a été annoté par des personnes indépendantes, sur des enregistrements mis de côté qui n'ont pas servi à l'entraînement. Ce benchmark vérifie à la fois la qualité de l'annotation automatique et la façon dont le modèle a assimilé les dépendances spatiales et temporelles.

Paramètres clés tirés de la description du travail :

• environ 100 scènes filmées par les auteurs ;
• environ 80 000 paires QA pour l'entraînement ;
• modèle HOLIWORLD-VL-4B (classe 4B) ;
• évaluation sur ScanNet, ScanNet++, Aria Digital Twin, HOLIWORLD-Bench et EgoDynamic4D ;
• l'annotation humaine sert à l'évaluation, pas à l'entraînement.

Ce que montrent les expériences

Selon les auteurs, Foundry se montre performant en perception statique et en suivi dynamique sur ScanNet, ScanNet++ et Aria Digital Twin. Toujours d'après eux, l'entraînement sur HOLIWORLD-Data améliore sensiblement le raisonnement spatial et temporel du modèle sur HOLIWORLD-Bench et EgoDynamic4D. La description disponible ne donne aucun chiffre précis : l'ampleur du gain et la comparaison avec des VLM plus gros sont donc à chercher dans l'article lui-même. Une partie des évaluations repose sur le benchmark propre aux auteurs, ce qu'il faut garder en tête à la lecture des résultats.

À quoi cela peut servir

Pour les développeurs en robotique et en systèmes AR, c'est le schéma qui est intéressant : un petit ensemble de scènes filmées, associé à une construction automatique d'enregistrements structurés, fournit un signal d'entraînement sans armée d'annotateurs. Un modèle de taille 4B peut réellement tourner sur du matériel modeste ; le raisonnement spatial peut donc se tester en dehors des grands clusters. Les équipes qui collectent leurs propres données egocentriques gagneraient à regarder de près le format world records, ainsi que la pratique d'un benchmark distinct à annotation indépendante. Reste à vérifier comment le pipeline se comporte sur des scènes extérieures aux ~100 scènes d'origine, et sa robustesse face aux enregistrements bruités de la vie réelle.