Исследователи выложили VR180-датасет с камер Blackmagic: 1211 стерео-образцов

Исследователи опубликовали датасет VR180, снятый напрямую на двух профессиональных камерах Blackmagic URSA Cine Immersive. В нём 1211 образцов: 636 стереовидеоклипов суммарной длительностью 2220,8 секунды (большая часть снята на 90 кадрах в секунду) и 575 стереофотографий. Главный результат сопутствующего эксперимента: кодирование нативного fisheye требует медианно на 38% больше битрейта, чем half-equirectangular, при одинаковом качестве в окне просмотра.

Чем этот датасет отличается от YouTube-выборок

Большинство публичных ресурсов по VR180 собрано с онлайн-платформ вроде YouTube. Ролики там уже сшиты, спроецированы и сжаты неизвестными пайплайнами, а параметры линз не приложены. Для задач компрессии, оценки качества или реконструкции сцены это серьёзная проблема: артефакты исходной обработки смешиваются с тем, что исследователь хочет измерить.

Авторы пошли от обратного и положили в репозиторий всё, что идёт с камеры. Каждый образец доступен в трёх представлениях, а рядом лежат заводская калибровка линз и портативные утилиты для перевода между fisheye и half-equirectangular.

• Объём: 1211 образцов, из них 636 видео (в среднем около 3,5 секунды на клип) и 575 фото.
• Камеры: две Blackmagic URSA Cine Immersive.
• Форматы: Blackmagic RAW, раздельный fisheye HEVC по глазам (8160×7200 на глаз) и half-equirectangular HEVC (7200×7200 на глаз).
• Частота: в основном 90 fps.
• Дополнительно: заводская калибровка линз, конвертеры, AI-сгенерированные описания сцен и визуальных сложностей.
• Доступ: датасет на Hugging Face, инструменты на GitHub.

Масштаб кадра заметен. Один fisheye-глаз даёт около 58,8 мегапикселя, стереопара превышает 117 мегапикселей, а при 90 fps это порядка 10,6 миллиарда пикселей в секунду до сжатия. Для работы с такими потоками нужны реальные исходники, а не пережатые копии.

Что показал тест кодирования

Авторы проверили, как два представления ведут себя при сжатии. Они перекодировали fisheye и half-equirectangular рендеры кодером x265 на 24 клипах, для обоих глаз, на четырёх уровнях битрейта и для девяти направлений взгляда. Качество сравнивали в окне просмотра, то есть в том, что пользователь видит в шлеме.

Результат однозначный: на всех 24 клипах нативный fisheye потребовал больше битрейта, чем half-equirectangular, при равном качестве. Медианная разница составила +38%. Она держалась по всему полю зрения, а не только на периферии, где искажения fisheye ожидаемо сильнее. Почему так, в аннотации не объясняется, и это остаётся вопросом для следующих работ.

Ограничения тоже очевидны. Эксперимент охватывает один кодек (x265) и 24 клипа из 636. Выводы о других кодеках, включая AV1 и нейросетевые, он не подтверждает. Аннотации сцен созданы ИИ, а не размечены вручную, поэтому качество разметки стоит проверять выборочно.

Кому и как использовать

Для команд, которые строят стриминг VR180, вывод практичен. Если ваш пайплайн хранит или передаёт нативный fisheye, закладывайте примерно треть дополнительного битрейта относительно half-equirectangular, либо конвертируйте до кодирования. Но конвертация тоже вносит свои потери, и теперь её можно измерить, потому что в комплекте есть и калибровка, и инструменты.

Исследователям нейросетевой компрессии, синтеза новых ракурсов и оценки качества датасет даёт чистую отправную точку. Сырой Blackmagic RAW позволяет самостоятельно выбирать цветовую обработку и сжатие, а заводская калибровка убирает необходимость самостоятельно оценивать параметры линз. Перед использованием стоит проверить лицензию на странице Hugging Face и заранее оценить место на диске: 8K-стерео в RAW занимает много.