Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Meta* lança o XRStereo: quase 18 mil conjuntos de quadros estéreo para visão 3D

Headsets de VR e robôs precisam de milhares de pares de quadros das câmeras esquerda e direita para enxergar o ambiente em três dimensões, e capturar esses dados no mundo real é caro. A Meta* lançou o XRStereo, um dataset sintético com quase 18 mil conjuntos de cinco pares estéreo de 1024 × 1024 pixels, gerados a partir de 13 cenas virtuais. Junto vêm o código do método StereoSplat e os pesos prontos, o que permite testar o modelo com suas próprias gravações sem treiná-lo do zero.

Processado por IA de Habr AI; editado por Hamidun News
Meta* lança o XRStereo: quase 18 mil conjuntos de quadros estéreo para visão 3D
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Pesa cerca de 373 GB e está dividido em 72 arquivos no Hugging Face
Dado-chave #2O ângulo de visão variou de 50° a 130°, e a distância entre as câmeras, de 4 a 12 cm
Dado-chave #3As cenas são nove interiores e quatro externas, com câmeras se movendo por um cenário estático

Para que um headset de VR ou um robô entenda como é o cômodo ao redor, eles precisam de algo além de uma imagem plana: um modelo volumétrico. Esse modelo pode ser montado a partir de dois quadros, um da câmera esquerda e outro da direita, do mesmo jeito que nossos olhos fazem. Treinar esses sistemas exige milhares de exemplos em que se sabe com precisão onde estavam as câmeras, e capturá-los no mundo real demora e custa caro. A Meta publicou no Hugging Face o dataset XRStereo: quase 18 mil conjuntos (a Meta os chama de sequências), cada um com cinco pares estéreo. São cerca de 90 mil pares de quadros, todos renderizados em cenas virtuais.

O que há no dataset

O XRStereo é um conjunto de dados sintético. Como as cenas são criadas em ambientes virtuais, a anotação sai exata, sem trabalho manual. Cada imagem tem resolução de 1024 × 1024 pixels. Em cada sequência, as câmeras se movem por uma cena estática: muda apenas o ponto de vista, e o mundo permanece no lugar.

Além dos quadros esquerdo e direito, os dados trazem a posição das câmeras e a distância entre elas. Também há mapas de disparidade. Explicando de forma simples: se você olhar para um dedo primeiro com um olho e depois com o outro, ele "pula" em relação ao fundo. Quanto mais perto o objeto está, maior é o salto. O mapa de disparidade registra a magnitude desse deslocamento para cada pixel, e com ele é possível calcular a distância até o objeto.

São 13 ambientes: nove interiores e quatro cenas externas. São poucas localidades, mas a variedade está nos parâmetros de captura.

Por que o ângulo e a distância entre as câmeras variam

As câmeras estéreo de cada dispositivo são construídas de maneira diferente. Em um headset, as lentes ficam mais próximas umas das outras; em outro, mais afastadas; e em um robô, as câmeras podem estar em uma barra separada. Se um modelo foi treinado com uma geometria só, costuma ter desempenho pior em outra.

Para reduzir essa dependência, os pesquisadores variaram o ângulo de visão horizontal de 50° a 130° e a distância entre as câmeras de 4 a 12 cm ao criar as cenas. A ideia é que isso permita treinar sistemas para diferentes câmeras estéreo de headsets de VR e robôs, e não para um único modelo de dispositivo.

StereoSplat: o objetivo do projeto

O dataset foi criado sobretudo para o método StereoSplat, desenvolvido pela Meta* em parceria com pesquisadores da Universidade de Amsterdã. O método constrói uma representação tridimensional da cena usando Gaussian Splatting. Nessa abordagem, a cena é descrita por um conjunto de manchas coloridas suaves no espaço, a partir das quais a imagem pode ser montada rapidamente. Em seguida, o sistema gera a imagem de novos pontos de vista, mostrando como o cômodo ficaria se a câmera fosse deslocada para o lado.

Na prática, isso significa que um vídeo de uma câmera estéreo pode gerar um modelo volumétrico, e não apenas uma sequência de quadros planos. Isso é útil em VR e AR, onde a imagem precisa ser reconstruída conforme a posição da cabeça. Também é útil na robótica, em que a máquina precisa estimar como o espaço ao seu redor está organizado.

Acesso e limitações

O XRStereo ocupa quase 373 GB e está dividido em 72 arquivos. Para uma equipe pequena, é um volume considerável: é preciso espaço em disco e tempo para o download. Junto com os dados, a Meta* disponibilizou o código do StereoSplat e os pesos dos modelos prontos. Assim, não é necessário treinar tudo do zero: dá para rodar o modelo pronto nas suas próprias gravações estéreo e avaliar a qualidade.

Há também limitações a reconhecer. O dataset é sintético, e a diferença entre a renderização e a captura real é normalmente perceptível na visão computacional: ruído de sensores, reflexos e borrões de movimento em cenas virtuais têm aparência diferente. Todas as sequências foram gravadas em cenários estáticos, então pessoas e objetos em movimento não aparecem nos dados. A partir da fonte também não é possível saber o quão bem o StereoSplat funciona em dispositivos reais: essa informação não consta na publicação.

Conclusão prática: se você desenvolve aplicações de VR ou AR, ou visão para robôs com câmera estéreo, o XRStereo é uma base pronta para treinar e comparar métodos. Vale verificar se a geometria da sua câmera cai na faixa de 50–130° de ângulo de visão e de 4–12 cm de distância entre as câmeras, e só então decidir se a sintética basta ou se será preciso acrescentar dados reais.

*Meta Platforms, bem como as redes sociais Facebook e Instagram, que lhe pertencem: a Meta é reconhecida como organização extremista, e suas atividades na Rússia são proibidas; Facebook e Instagram são proibidos na Rússia.

História

Perguntas frequentes sobre a notícia

O que há no dataset?

O XRStereo é um conjunto de dados sintético. Como as cenas são criadas em ambientes virtuais, a anotação sai exata, sem trabalho manual. Cada imagem tem resolução de 1024 × 1024 pixels. Em cada sequência, as câmeras se movem por uma cena estática: muda apenas o ponto de vista, e o mundo permanece no lugar. Além dos quadros esquerdo e direito, os dados trazem a posição das câmeras e a distância entre elas. Também há mapas de disparidade.

Por que o ângulo e a distância entre as câmeras variam?

As câmeras estéreo de cada dispositivo são construídas de maneira diferente. Em um headset, as lentes ficam mais próximas umas das outras; em outro, mais afastadas; e em um robô, as câmeras podem estar em uma barra separada. Se um modelo foi treinado com uma geometria só, costuma ter desempenho pior em outra. Para reduzir essa dependência, os pesquisadores variaram o ângulo de visão horizontal de 50° a 130° e a distância entre as câmeras de 4 a 12 cm ao criar as cenas.

O que se sabe sobre StereoSplat: o objetivo do projeto?

O dataset foi criado sobretudo para o método StereoSplat, desenvolvido pela Meta em parceria com pesquisadores da Universidade de Amsterdã. O método constrói uma representação tridimensional da cena usando Gaussian Splatting. Nessa abordagem, a cena é descrita por um conjunto de manchas coloridas suaves no espaço, a partir das quais a imagem pode ser montada rapidamente. Em seguida, o sistema gera a imagem de novos pontos de vista, mostrando como o cômodo ficaria se a câmera fosse deslocada para o lado.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…