Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Meta* publica XRStereo: casi 18 000 conjuntos de fotogramas estéreo para la visión 3D

Las gafas de realidad virtual y los robots necesitan miles de pares de fotogramas de las cámaras izquierda y derecha para percibir las habitaciones en tres dimensiones, y grabarlos en el mundo real es caro. Meta* ha publicado XRStereo, un dataset sintético de casi 18 000 conjuntos de cinco pares estéreo de 1024 × 1024 píxeles, generados a partir de 13 escenas virtuales. Junto a los datos están el código del método StereoSplat y los pesos del modelo, de modo que se puede probar el sistema con grabaciones propias sin entrenarlo desde cero.

Procesado por IA desde Habr AI; editado por Hamidun News
Meta* publica XRStereo: casi 18 000 conjuntos de fotogramas estéreo para la visión 3D
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Pesa unos 373 GB y está dividido en 72 archivos en Hugging Face
Dato clave #2El ángulo de visión varía entre 50° y 130°, y la distancia entre cámaras, entre 4 y 12 cm
Escenasnueve interiores y cuatro exteriores, con cámaras que se desplazan alrededor de una escena estática

Para que unas gafas de realidad virtual o un robot entiendan cómo es la habitación que los rodea, no les basta una imagen plana: necesitan un modelo volumétrico. Ese modelo se puede construir a partir de dos fotogramas, uno de la cámara izquierda y otro de la derecha, tal como hacen nuestros ojos. Para entrenar estos sistemas se necesitan miles de ejemplos en los que se conozca con precisión dónde estaban situadas las cámaras, y grabarlos en el mundo real lleva mucho tiempo y resulta costoso.

Meta ha publicado en Hugging Face el dataset XRStereo: casi 18 000 conjuntos (Meta los llama secuencias), con cinco pares estéreo cada uno. En total son unos 90 000 pares de fotogramas, todos generados en escenas virtuales.

Qué contiene el dataset

XRStereo es un conjunto de datos sintético. Como las escenas se crean en entornos virtuales, el etiquetado es exacto y no requiere trabajo manual. Cada imagen tiene una resolución de 1024 × 1024 píxeles. En cada secuencia, las cámaras se desplazan por una escena estática: cambia el punto de vista, pero el mundo permanece quieto.

Además de los fotogramas izquierdo y derecho, los datos incluyen la posición de las cámaras y la distancia entre ellas. También hay mapas de disparidad. Dicho de forma sencilla: si miras un dedo primero con un ojo y luego con el otro, el dedo "salta" respecto al fondo, y cuanto más cerca está el objeto, mayor es el salto. El mapa de disparidad registra la magnitud de ese desplazamiento para cada píxel, y a partir de él se puede calcular la distancia a cada objeto.

Hay 13 entornos: nueve interiores y cuatro escenas exteriores. Son pocas localizaciones, pero la variedad se consigue con los parámetros de captura.

Por qué se varió el ángulo y la distancia entre cámaras

Las cámaras estéreo de los distintos dispositivos no son iguales. En una gafa, las lentes están más juntas; en otra, más separadas; y en un robot, las cámaras pueden ir montadas en una barra independiente. Si un modelo aprende con una geometría concreta, normalmente funcionará peor con otra.

Para reducir esa dependencia, los investigadores variaron el ángulo de visión horizontal entre 50° y 130°, y la distancia entre cámaras entre 4 y 12 cm al crear las escenas. La idea es entrenar sistemas que se adapten a las distintas cámaras estéreo de gafas VR y robots, en lugar de limitarse a un modelo de dispositivo concreto.

StereoSplat: el propósito principal

El dataset se creó sobre todo para el método StereoSplat, desarrollado por Meta* junto con especialistas de la Universidad de Ámsterdam. El método construye una representación tridimensional de la escena mediante Gaussian Splatting: la escena se describe como un conjunto de "manchas" de color blandas en el espacio, a partir de las cuales se puede componer una imagen con rapidez. Después, el sistema genera la imagen desde nuevos puntos de vista, es decir, muestra cómo se vería la habitación si la cámara se desplazara a un lado.

En la práctica, esto significa que, a partir de un vídeo de una cámara estéreo, se puede obtener un modelo volumétrico y no solo una serie de fotogramas planos. Es útil en VR y AR, donde la imagen debe recalcularse según la posición de la cabeza, y también en robótica, donde la máquina necesita estimar cómo está organizado el espacio que la rodea.

Disponibilidad y limitaciones

XRStereo ocupa casi 373 GB y está dividido en 72 archivos. Para un equipo pequeño, es un volumen considerable: hace falta espacio en disco y tiempo de descarga. Junto con los datos, Meta* ha publicado el código de StereoSplat y los pesos de los modelos entrenados. Eso permite no entrenar todo desde cero: se puede ejecutar primero el modelo preentrenado sobre grabaciones estéreo propias y evaluar la calidad.

También hay limitaciones que conviene tener en cuenta. El dataset es sintético, y la brecha entre el render y la captura real suele notarse en visión por computador: el ruido de los sensores, los reflejos y el desenfoque por movimiento se ven de otra manera en las escenas virtuales. Todas las secuencias se han grabado en escenas estáticas, así que no hay personas ni objetos en movimiento. Por otra parte, la fuente no indica cuál es el rendimiento de StereoSplat en dispositivos reales: en el anuncio no aparecen esos resultados.

Conclusión práctica: si desarrollas aplicaciones de VR o AR, o visión para robots con cámara estéreo, XRStereo es una base lista para entrenar y comparar métodos. Conviene comprobar si la geometría de tu cámara entra en el rango de 50–130° de ángulo de visión y de 4–12 cm de separación entre cámaras, y solo después decidir si la sintética basta o si hace falta añadir datos reales.

*Meta Platforms, así como sus redes sociales Facebook e Instagram: Meta ha sido declarada organización extremista y sus actividades están prohibidas en Rusia; Facebook e Instagram están prohibidos en Rusia.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué contiene el dataset?

XRStereo es un conjunto de datos sintético. Como las escenas se crean en entornos virtuales, el etiquetado es exacto y no requiere trabajo manual. Cada imagen tiene una resolución de 1024 × 1024 píxeles. En cada secuencia, las cámaras se desplazan por una escena estática: cambia el punto de vista, pero el mundo permanece quieto. Además de los fotogramas izquierdo y derecho, los datos incluyen la posición de las cámaras y la distancia entre ellas. También hay mapas de disparidad.

¿Qué se sabe sobre Por qué se varió el ángulo y la distancia entre cámaras?

Las cámaras estéreo de los distintos dispositivos no son iguales. En una gafa, las lentes están más juntas; en otra, más separadas; y en un robot, las cámaras pueden ir montadas en una barra independiente. Si un modelo aprende con una geometría concreta, normalmente funcionará peor con otra. Para reducir esa dependencia, los investigadores variaron el ángulo de visión horizontal entre 50° y 130°, y la distancia entre cámaras entre 4 y 12 cm al crear las escenas.

¿Qué se sabe sobre StereoSplat: el propósito principal?

El dataset se creó sobre todo para el método StereoSplat, desarrollado por Meta junto con especialistas de la Universidad de Ámsterdam. El método construye una representación tridimensional de la escena mediante Gaussian Splatting: la escena se describe como un conjunto de "manchas" de color blandas en el espacio, a partir de las cuales se puede componer una imagen con rapidez.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…