Pesquisadores publicam dataset VR180 gravado com câmeras Blackmagic: 1211 amostras estéreo

Pesquisadores publicaram um dataset VR180 gravado diretamente com duas câmeras profissionais Blackmagic URSA Cine Immersive. Ele contém 1211 amostras: 636 clipes de vídeo estéreo, com duração total de 2220,8 segundos (a maior parte gravada a 90 quadros por segundo), e 575 fotografias estéreo. O principal resultado do experimento que acompanha o dataset: codificar o fisheye nativo exige, na mediana, 38% mais bitrate do que o half-equirectangular, com a mesma qualidade na janela de visualização.

Como este dataset se diferencia das coleções do YouTube

A maioria dos recursos públicos de VR180 é coletada em plataformas online, como o YouTube. Os vídeos já chegam costurados, projetados e comprimidos por pipelines desconhecidos, e sem os parâmetros das lentes. Para tarefas de compressão, avaliação de qualidade ou reconstrução de cena, isso é um problema sério: os artefatos do processamento original se misturam com aquilo que o pesquisador quer medir.

Os autores fizeram o caminho inverso e colocaram no repositório tudo o que sai da câmera. Cada amostra está disponível em três representações, e ao lado ficam a calibração de fábrica das lentes e utilitários portáteis para converter entre fisheye e half-equirectangular.

• Volume: 1211 amostras, sendo 636 vídeos (em média cerca de 3,5 segundos por clipe) e 575 fotos.
• Câmeras: duas Blackmagic URSA Cine Immersive.
• Formatos: Blackmagic RAW, fisheye HEVC separado por olho (8160×7200 por olho) e half-equirectangular HEVC (7200×7200 por olho).
• Taxa de quadros: principalmente 90 fps.
• Extras: calibração de fábrica das lentes, conversores e descrições de cenas e de dificuldades visuais geradas por IA.
• Acesso: dataset no Hugging Face, ferramentas no GitHub.

A escala do quadro chama atenção. Um olho em fisheye tem cerca de 58,8 megapixels, o par estéreo ultrapassa 117 megapixels e, a 90 fps, isso dá algo em torno de 10,6 bilhões de pixels por segundo antes da compressão. Para trabalhar com fluxos desse tamanho, são necessárias fontes reais, e não cópias recomprimidas.

O que o teste de codificação mostrou

Os autores avaliaram como as duas representações se comportam na compressão. Eles recodificaram os renders em fisheye e em half-equirectangular com o codificador x265, em 24 clipes, para os dois olhos, em quatro níveis de bitrate e em nove direções de olhar. A qualidade foi comparada na janela de visualização, ou seja, no que o usuário vê dentro do headset.

O resultado é inequívoco: em todos os 24 clipes, o fisheye nativo exigiu mais bitrate do que o half-equirectangular para a mesma qualidade. A diferença mediana foi de +38%. Ela se manteve em todo o campo de visão, e não apenas na periferia, onde as distorções do fisheye são naturalmente mais fortes. O resumo do trabalho não explica por que isso acontece, e a questão fica em aberto para pesquisas futuras.

As limitações também são claras. O experimento cobre um único codec (x265) e 24 clipes dos 636. Ele não confirma conclusões sobre outros codecs, incluindo AV1 e os baseados em redes neurais. As anotações das cenas foram geradas por IA, e não rotuladas manualmente, por isso vale checar a qualidade da rotulagem por amostragem.

Para quem serve e como usar

Para equipes que desenvolvem streaming de VR180, a conclusão é prática. Se o seu pipeline armazena ou transmite fisheye nativo, reserve aproximadamente um terço a mais de bitrate em relação ao half-equirectangular, ou converta antes de codificar. Mas a conversão também introduz perdas, e agora é possível medi-las, já que o pacote inclui tanto a calibração quanto as ferramentas.

Para pesquisadores de compressão neural, síntese de novas vistas e avaliação de qualidade, o dataset oferece um ponto de partida limpo. O Blackmagic RAW bruto permite escolher por conta própria o processamento de cor e a compressão, e a calibração de fábrica elimina a necessidade de estimar os parâmetros das lentes. Antes de usar, vale conferir a licença na página do Hugging Face e estimar com antecedência o espaço em disco: vídeo estéreo 8K em RAW ocupa muito.