Un jeu de données VR180 tourné avec des caméras Blackmagic : 1211 échantillons stéréo mis en ligne par des chercheurs

Des chercheurs ont publié un jeu de données VR180 tourné directement avec deux caméras professionnelles Blackmagic URSA Cine Immersive. Il contient 1211 échantillons : 636 clips vidéo stéréo d'une durée totale de 2220,8 secondes (la plupart tournés à 90 images par seconde) et 575 photos stéréo. Principal résultat de l'expérience associée : l'encodage du fisheye natif demande en médiane 38% de bitrate en plus que le half-equirectangular, à qualité identique dans le viewport.

En quoi ce jeu de données diffère des corpus issus de

YouTube

La plupart des ressources publiques sur la VR180 proviennent de plateformes en ligne comme YouTube. Les vidéos y ont déjà été assemblées, projetées et compressées par des pipelines inconnus, et les paramètres des objectifs ne sont pas fournis. Pour la compression, l'évaluation de la qualité ou la reconstruction de scène, c'est un vrai problème : les artefacts du traitement initial se mêlent à ce que le chercheur veut mesurer.

Les auteurs ont pris le contre-pied et ont déposé dans le dépôt tout ce que produit la caméra. Chaque échantillon est disponible sous trois représentations. À côté, on trouve la calibration d'usine des objectifs et des utilitaires portables pour passer du fisheye au half-equirectangular, et inversement.

• Volume : 1211 échantillons, dont 636 vidéos (environ 3,5 secondes par clip en moyenne) et 575 photos.
• Caméras : deux Blackmagic URSA Cine Immersive.
• Formats : Blackmagic RAW, fisheye HEVC séparé par œil (8160×7200 par œil) et half-equirectangular HEVC (7200×7200 par œil).
• Fréquence d'images : principalement 90 fps.
• En complément : calibration d'usine des objectifs, convertisseurs, descriptions des scènes et des difficultés visuelles générées par IA.
• Accès : jeu de données sur Hugging Face, outils sur GitHub.

L'échelle des images est considérable. Un œil en fisheye représente environ 58,8 mégapixels, une paire stéréo dépasse 117 mégapixels et, à 90 fps, cela donne de l'ordre de 10,6 milliards de pixels par seconde avant compression. Pour travailler sur de tels flux, il faut de vraies sources, pas des copies recompressées.

Ce que montre le test d'encodage

Les auteurs ont vérifié le comportement des deux représentations à la compression. Ils ont réencodé les rendus fisheye et half-equirectangular avec l'encodeur x265 sur 24 clips, pour les deux yeux, à quatre niveaux de bitrate et pour neuf directions de regard. Ils ont comparé la qualité dans le viewport, c'est-à-dire ce que l'utilisateur voit dans le casque.

Le résultat est sans ambiguïté : sur les 24 clips, le fisheye natif a exigé plus de bitrate que le half-equirectangular à qualité égale. L'écart médian atteint +38%. Il se maintient sur l'ensemble du champ de vision, et pas seulement en périphérie, où les distorsions du fisheye sont naturellement plus fortes. Le résumé de l'étude n'explique pas pourquoi, et la question reste ouverte pour des travaux ultérieurs.

Les limites sont tout aussi claires. L'expérience porte sur un seul codec (x265) et sur 24 clips sur 636. Elle ne permet pas de confirmer ces conclusions pour d'autres codecs, dont AV1 et les codecs neuronaux. Les annotations des scènes sont générées par IA et non rédigées manuellement : mieux vaut donc en vérifier la qualité par échantillonnage.

Pour qui et comment l'utiliser

Pour les équipes qui construisent un service de streaming VR180, la conclusion est pratique. Si votre pipeline stocke ou transmet du fisheye natif, prévoyez environ un tiers de bitrate supplémentaire par rapport au half-equirectangular, ou convertissez avant l'encodage. Mais la conversion entraîne elle aussi des pertes, et il est désormais possible de les mesurer, puisque la calibration et les outils sont fournis.

Pour les chercheurs en compression neuronale, en synthèse de nouveaux points de vue et en évaluation de la qualité, ce jeu de données offre un point de départ propre. Le Blackmagic RAW brut permet de choisir soi-même le traitement colorimétrique et la compression, et la calibration d'usine évite d'estimer soi-même les paramètres des objectifs. Avant toute utilisation, mieux vaut vérifier la licence sur la page Hugging Face et anticiper l'espace disque : la stéréo 8K en RAW pèse lourd.