Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Meta* publie XRStereo, près de 18 000 jeux de paires stéréo pour la vision 3D

Les casques VR et les robots ont besoin de milliers de paires d'images prises par des caméras gauche et droite pour percevoir la pièce en relief, et les capturer dans le monde réel coûte cher. Meta* publie XRStereo, un jeu de données synthétique d'environ 18 000 séquences, chacune composée de cinq paires stéréo de 1024 × 1024 pixels, issues de 13 scènes virtuelles. Le code de la méthode StereoSplat et les poids pré-entraînés sont fournis, ce qui permet de tester le modèle sur vos propres enregistrements sans l'entraîner depuis zéro.

Traité par IA depuis Habr AI ; édité par Hamidun News
Meta* publie XRStereo, près de 18 000 jeux de paires stéréo pour la vision 3D
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Il pèse environ 373 Go et est réparti en 72 archives sur Hugging Face
Chiffre clé #2L'angle de vue varie de 50° à 130°, et la distance entre les caméras de 4 à 12 cm
Chiffre clé #3Les scènes comptent neuf intérieurs et quatre extérieurs, avec des caméras qui se déplacent dans une scène immobile

Pour qu'un casque VR ou un robot comprenne l'agencement d'une pièce, une image plate ne suffit pas : il lui faut un modèle en volume. On peut le reconstruire à partir de deux images, prises par une caméra gauche et une caméra droite, comme le font nos yeux. Entraîner ces systèmes demande des milliers d'exemples dont on connaît précisément la position des caméras, or les capturer dans le monde réel prend beaucoup de temps et coûte cher. Meta a publié sur Hugging Face le jeu de données XRStereo : près de 18 000 jeux de données (Meta les appelle des séquences), chacun contenant cinq paires stéréo. Cela représente environ 90 000 paires d'images, toutes générées dans des scènes virtuelles.

Ce que contient le jeu de données

XRStereo est un jeu de données synthétique. Les scènes étant créées dans des environnements virtuels, les annotations sont exactes, sans travail manuel. Chaque image fait 1024 × 1024 pixels. Dans chaque séquence, les caméras se déplacent autour d'une scène immobile : seul le point de vue change, le monde reste à sa place.

Outre les images gauche et droite, les données incluent la position des caméras et la distance qui les sépare. On y trouve aussi des cartes de disparité. Pour simplifier : si l'on regarde un doigt d'abord d'un œil, puis de l'autre, il semble « sauter » par rapport à l'arrière-plan. Plus l'objet est proche, plus le saut est grand. La carte de disparité enregistre l'amplitude de ce décalage pour chaque pixel, et permet ainsi de calculer la distance à chaque objet.

Les environnements sont au nombre de 13 : neuf intérieurs et quatre scènes d'extérieur. Les lieux sont peu nombreux, mais la diversité tient aux paramètres de prise de vue.

Pourquoi faire varier l'angle et l'écart entre les caméras

Les caméras stéréo ne sont pas conçues de la même façon d'un appareil à l'autre. Sur un casque, les objectifs peuvent être plus rapprochés ou plus écartés ; sur un robot, les caméras peuvent se trouver sur une barre dédiée. Un modèle entraîné sur une seule géométrie fonctionne en général moins bien sur une autre.

Pour réduire cette dépendance, les chercheurs ont fait varier, lors de la création des scènes, l'angle de vue horizontal de 50° à 130° et la distance entre les caméras de 4 à 12 cm. L'objectif est d'entraîner des systèmes adaptables aux différentes caméras stéréo des casques VR et des robots, plutôt qu'à un modèle de matériel précis.

StereoSplat : le projet à l'origine du jeu de données

Le jeu de données a été créé avant tout pour la méthode StereoSplat, développée par les ingénieurs de Meta* avec des chercheurs de l'Université d'Amsterdam. La méthode construit une représentation 3D de la scène à l'aide du Gaussian Splatting. Cette approche décrit la scène comme un ensemble de « taches » colorées et floues dans l'espace, à partir desquelles l'image peut être rapidement recomposée. Le système génère ensuite une image depuis de nouveaux points de vue, c'est-à-dire qu'il montre à quoi ressemblerait la pièce si l'on déplaçait la caméra sur le côté.

Concrètement, cela permet d'obtenir un modèle volumique à partir d'une vidéo stéréo, plutôt qu'un ensemble d'images plates. C'est utile en VR et en AR, où l'image doit être recalculée selon la position de la tête, mais aussi en robotique, où la machine doit évaluer l'espace qui l'entoure.

Accessibilité et limites

XRStereo pèse près de 373 Go et est réparti en 72 archives. Pour une petite équipe, c'est un volume considérable : il faut de l'espace disque et du temps de téléchargement. Meta* publie aussi le code de StereoSplat et les poids des modèles entraînés. On peut donc éviter d'entraîner tout depuis zéro et commencer par faire tourner le modèle existant sur ses propres enregistrements stéréo pour en évaluer la qualité.

Les limites sont réelles. Le jeu de données étant synthétique, l'écart entre rendu et prise de vue réelle est généralement sensible en vision par ordinateur : le bruit des capteurs, les reflets et le flou de mouvement n'apparaissent pas de la même façon dans des scènes virtuelles. Toutes les séquences sont tournées dans des scènes immobiles, donc les personnes et objets en mouvement ne sont pas représentés. La source ne précise pas non plus les performances de StereoSplat sur des appareils réels : aucun résultat de ce type n'est mentionné dans l'annonce.

En pratique, si vous développez des applications VR ou AR, ou une vision robotique à base de caméra stéréo, XRStereo constitue une base prête à l'emploi pour entraîner et comparer des méthodes. Vérifiez d'abord que la géométrie de votre caméra entre dans la plage de 50 à 130° d'angle de vue et de 4 à 12 cm d'écart, puis décidez si la donnée synthétique suffit ou s'il faut ajouter des données réelles.

Dossier

Questions clés sur cet article

Que sait-on sur Ce que contient le jeu de données ?

XRStereo est un jeu de données synthétique. Les scènes étant créées dans des environnements virtuels, les annotations sont exactes, sans travail manuel. Chaque image fait 1024 × 1024 pixels. Dans chaque séquence, les caméras se déplacent autour d'une scène immobile : seul le point de vue change, le monde reste à sa place. Outre les images gauche et droite, les données incluent la position des caméras et la distance qui les sépare. On y trouve aussi des cartes de disparité.

Pourquoi faire varier l'angle et l'écart entre les caméras?

Les caméras stéréo ne sont pas conçues de la même façon d'un appareil à l'autre. Sur un casque, les objectifs peuvent être plus rapprochés ou plus écartés ; sur un robot, les caméras peuvent se trouver sur une barre dédiée. Un modèle entraîné sur une seule géométrie fonctionne en général moins bien sur une autre. Pour réduire cette dépendance, les chercheurs ont fait varier, lors de la création des scènes, l'angle de vue horizontal de 50° à 130° et la distance entre les caméras de 4 à 12 cm.

Que sait-on sur StereoSplat : le projet à l'origine du jeu de données ?

Le jeu de données a été créé avant tout pour la méthode StereoSplat, développée par les ingénieurs de Meta avec des chercheurs de l'Université d'Amsterdam. La méthode construit une représentation 3D de la scène à l'aide du Gaussian Splatting. Cette approche décrit la scène comme un ensemble de « taches » colorées et floues dans l'espace, à partir desquelles l'image peut être rapidement recomposée.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…