Investigadores publican un dataset VR180 grabado con cámaras Blackmagic: 1211 muestras estéreo

Un grupo de investigadores ha publicado un dataset VR180 grabado directamente con dos cámaras profesionales Blackmagic URSA Cine Immersive. Contiene 1211 muestras: 636 clips de vídeo estéreo con una duración total de 2220,8 segundos (la mayor parte, grabada a 90 fotogramas por segundo) y 575 fotografías estéreo. El resultado principal del experimento que lo acompaña: codificar fisheye nativo requiere una mediana de 38% más de bitrate que half-equirectangular, con la misma calidad en la ventana de visualización.

Qué diferencia a este dataset de las muestras de YouTube

La mayoría de los recursos públicos de VR180 se recopilan de plataformas en línea como YouTube. Esos vídeos ya llegan unidos, proyectados y comprimidos por pipelines desconocidos, y sin los parámetros de las lentes. Para tareas de compresión, evaluación de calidad o reconstrucción de escenas, esto es un problema serio: los artefactos del procesamiento original se mezclan con lo que el investigador quiere medir.

Los autores han hecho lo contrario: han incluido en el repositorio todo lo que sale de la cámara. Cada muestra está disponible en tres representaciones, y junto a ellas se ofrecen la calibración de fábrica de las lentes y utilidades portátiles para convertir entre fisheye y half-equirectangular.

• Volumen: 1211 muestras, de las cuales 636 son vídeos (en promedio, unos 3,5 segundos por clip) y 575 son fotos.
• Cámaras: dos Blackmagic URSA Cine Immersive.
• Formatos: Blackmagic RAW, fisheye HEVC separado por ojo (8160×7200 por ojo) y half-equirectangular HEVC (7200×7200 por ojo).
• Frecuencia: principalmente 90 fps.
• Adicionalmente: calibración de fábrica de las lentes, conversores y descripciones de escenas y de dificultades visuales generadas por IA.
• Acceso: el dataset está en Hugging Face y las herramientas, en GitHub.

La escala del fotograma es notable. Un solo ojo en fisheye aporta unos 58,8 megapíxeles, el par estéreo supera los 117 megapíxeles y, a 90 fps, eso equivale a unos 10,6 mil millones de píxeles por segundo antes de la compresión. Para trabajar con flujos de este tamaño hacen falta fuentes reales, no copias recomprimidas.

Qué mostró la prueba de codificación

Los autores comprobaron cómo se comportan las dos representaciones al comprimirlas. Recodificaron los renders fisheye y half-equirectangular con el codificador x265 en 24 clips, para ambos ojos, en cuatro niveles de bitrate y para nueve direcciones de mirada. Compararon la calidad en la ventana de visualización, es decir, en lo que el usuario ve dentro del visor.

El resultado es claro: en los 24 clips, el fisheye nativo requirió más bitrate que el half-equirectangular con la misma calidad. La diferencia mediana fue de +38%. Se mantuvo en todo el campo de visión, y no solo en la periferia, donde cabría esperar una mayor distorsión del fisheye. El resumen del trabajo no explica por qué ocurre, y queda como pregunta para futuras investigaciones.

Las limitaciones también son evidentes. El experimento abarca un solo códec (x265) y 24 clips de los 636. No permite sacar conclusiones sobre otros códecs, incluidos AV1 y los neuronales. Las anotaciones de las escenas las ha generado una IA, no se han etiquetado a mano, por lo que conviene revisar su calidad por muestreo.

Para quién es y cómo usarlo

Para los equipos que desarrollan streaming VR180, la conclusión es práctica. Si su pipeline almacena o transmite fisheye nativo, conviene prever aproximadamente un tercio más de bitrate que con half-equirectangular, o bien convertir antes de codificar. Pero la conversión también introduce pérdidas, y ahora se pueden medir, porque el paquete incluye tanto la calibración como las herramientas.

Para los investigadores de compresión neuronal, síntesis de nuevas vistas y evaluación de calidad, el dataset ofrece un punto de partida limpio. El Blackmagic RAW sin procesar permite elegir por cuenta propia el procesamiento de color y la compresión, y la calibración de fábrica evita tener que estimar los parámetros de las lentes. Antes de usarlo, conviene revisar la licencia en la página de Hugging Face y calcular con antelación el espacio en disco: el estéreo 8K en RAW ocupa mucho.