Meta* опубликовала XRStereo — почти 18 тысяч наборов стереокадров для 3D-зрения
VR-гарнитурам и роботам нужны тысячи пар кадров с левой и правой камеры, чтобы видеть комнату объёмной, а снимать их в реальности дорого. Meta* выложила XRStereo — синтетический датасет почти из 18 тысяч наборов по пять стереопар 1024 × 1024 пикселя из 13 виртуальных сцен. Рядом лежат код метода StereoSplat и готовые веса, так что модель можно проверить на своих записях без обучения с нуля.
AI-обработка оригинала Habr AI; редакция Hamidun News
Чтобы VR-гарнитура или робот поняли, как устроена комната вокруг, им нужна не плоская картинка, а объёмная модель. Её можно собрать по двум кадрам с левой и правой камеры, как это делают наши глаза. Для обучения таких систем нужны тысячи примеров, где точно известно, где стояли камеры, а снимать их в реальности долго и дорого. Meta опубликовала на Hugging Face датасет XRStereo: почти 18 тысяч наборов (в Meta их называют последовательностями), в каждом по пять стереопар. Это примерно 90 тысяч пар кадров, и все они нарисованы в виртуальных сценах.
Что внутри датасета
XRStereo — синтетический набор данных. Раз сцены создаются в виртуальных окружениях, разметка получается точной без ручной работы. Разрешение каждого изображения — 1024 × 1024 пикселя. В каждой последовательности камеры движутся по неподвижной сцене: меняется только точка съёмки, а сам мир стоит на месте.
Кроме левого и правого кадра в данных есть положение камер и расстояние между ними. Есть и карты диспаратности. Объясним на пальцах: если посмотреть на палец сначала одним глазом, потом другим, он «прыгает» относительно фона. Чем ближе предмет, тем сильнее прыжок. Карта диспаратности записывает величину такого смещения для каждого пикселя, а по ней можно вычислить расстояние до объекта.
Окружений 13: девять интерьеров и четыре уличные сцены. Локаций немного, зато разнообразие заложено в параметрах съёмки.
Зачем меняли угол и расстояние между камерами
Стереокамеры в разных устройствах устроены по-разному. У одной гарнитуры линзы стоят ближе друг к другу, у другой дальше, у робота камеры могут быть вообще на отдельной планке. Если модель училась на одной геометрии, на другой она, как правило, работает хуже.
Чтобы снизить эту зависимость, исследователи при создании сцен меняли горизонтальный угол обзора от 50° до 130°, а расстояние между камерами — от 4 до 12 см. По их замыслу, это позволяет обучать системы под разные стереокамеры VR-гарнитур и роботов, а не под одну конкретную модель устройства.
StereoSplat: ради чего всё затевалось
Датасет создавали в первую очередь для метода StereoSplat. Его инженеры Meta* разработали вместе со специалистами Амстердамского университета. Метод строит трёхмерное представление сцены с помощью Gaussian Splatting. В этом подходе сцена описывается множеством мягких цветных «пятен» в пространстве, из которых можно быстро собрать изображение. После этого система генерирует картинку с новых точек обзора, то есть показывает, как комната выглядела бы, если сдвинуть камеру в сторону.
Для практики это значит, что по видео со стереокамеры можно получить объёмную модель, а не набор плоских кадров. Такое пригодится в VR и AR, где картинку надо перестраивать под положение головы. Пригодится и в робототехнике, где машине нужно оценивать, как устроено пространство вокруг.
Что с доступностью и ограничениями
XRStereo занимает почти 373 ГБ и разбит на 72 архива. Для небольшой команды это ощутимый объём: нужно место на диске и время на скачивание. Вместе с данными Meta* выложила код StereoSplat и веса готовых моделей. Значит, можно не обучать всё с нуля, а сначала запустить готовую модель на своих стереозаписях и оценить качество.
Есть и честные ограничения. Датасет синтетический, а разрыв между рендером и реальной съёмкой в компьютерном зрении обычно заметен: шум сенсоров, блики и размытие в движении в виртуальных сценах выглядят иначе. Все последовательности сняты по неподвижным сценам, поэтому движущиеся люди и предметы в данных не представлены. Из источника также не следует, насколько хорошо StereoSplat работает на реальных устройствах: таких результатов в сообщении нет.
Практический вывод: если вы делаете приложения для VR или AR либо зрение для роботов со стереокамерой, XRStereo — готовая основа для обучения и сравнения методов. Стоит проверить, попадает ли геометрия вашей камеры в диапазон 50–130° по углу обзора и 4–12 см по расстоянию между камерами, и только потом решать, хватит ли синтетики или придётся добавлять реальные данные.
*Meta Platforms, а также принадлежащие ей социальные сети Facebook и Instagram: Meta признана экстремистской организацией, её деятельность в России запрещена; Facebook и Instagram запрещены в России.
- 21 нояб. 2026 г.Открытый MiniMind позволяет обучить свою LLM с нуля за $0,42 на RTX 3090
- 21 нояб. 2026 г.TensorRT-LLM обогнал vLLM на H100: 2780 против 2400 токенов/с на Llama 3.3 70B
- 21 нояб. 2026 г.Открытая Inkling 2 Mini на 16 ГБ памяти догнала Qwen3.8-27B в независимом рейтинге
- 21 нояб. 2026 г.Qwen3-0.6B дообучили на Mac mini: ошибок в ответах стало 3 из 30 вместо 9
Вопросы и ответы по материалу
Что известно по теме: что внутри датасета?
XRStereo — синтетический набор данных. Раз сцены создаются в виртуальных окружениях, разметка получается точной без ручной работы. Разрешение каждого изображения — 1024 × 1024 пикселя. В каждой последовательности камеры движутся по неподвижной сцене: меняется только точка съёмки, а сам мир стоит на месте. Кроме левого и правого кадра в данных есть положение камер и расстояние между ними. Есть и карты диспаратности.
Что известно по теме: зачем меняли угол и расстояние между камерами?
Стереокамеры в разных устройствах устроены по-разному. У одной гарнитуры линзы стоят ближе друг к другу, у другой дальше, у робота камеры могут быть вообще на отдельной планке. Если модель училась на одной геометрии, на другой она, как правило, работает хуже. Чтобы снизить эту зависимость, исследователи при создании сцен меняли горизонтальный угол обзора от 50° до 130°, а расстояние между камерами — от 4 до 12 см.
Что известно по теме: StereoSplat: ради чего всё затевалось?
Датасет создавали в первую очередь для метода StereoSplat. Его инженеры Meta разработали вместе со специалистами Амстердамского университета. Метод строит трёхмерное представление сцены с помощью Gaussian Splatting. В этом подходе сцена описывается множеством мягких цветных «пятен» в пространстве, из которых можно быстро собрать изображение. После этого система генерирует картинку с новых точек обзора, то есть показывает, как комната выглядела бы, если сдвинуть камеру в сторону.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.