Пекинский университет ускорил загрузку видео для ИИ в 1,45 раза

Pesquisadores da Universidade de Pequim, liderados pelo acadêmico Wen Gao, apresentaram o codec4AI: uma forma de armazenar e ler vídeos ajustada à carga real do treinamento de redes neurais. Em um grande corpus de robótica, a variante DDRA H.265 mostrou 1,45× de throughput no carregamento de dados em comparação com a configuração do LeRobot v3, usada pelos autores como referência de comparação. O volume de dados de mídia, por sua vez, é 58,7% menor, com qualidade de reconstrução comparável. O artigo foi publicado no arXiv (2610.33079), e o código e a documentação estão disponíveis em acesso aberto.

Por que os codecs atrapalham o treinamento

Os codecs de vídeo padrão foram criados para reprodução: os quadros seguem em sequência, e a compressão extrai o máximo das referências entre vizinhos. A maioria dos quadros é armazenada como diferença em relação a outros, então, para exibir um único quadro, é preciso reconstruir toda a cadeia de referências até o quadro-chave mais próximo.

O treinamento funciona de forma diferente. Os conjuntos de dados de robótica para modelos VLA e outros sistemas multimodais amostram quadros aleatoriamente ao longo do tempo. O carregador de dados pede um quadro do meio de um vídeo, e o decodificador precisa reconstruir tudo o que for necessário para entregá-lo.

Os autores chamam esse efeito de decode amplification e apontam duas causas:

• reconstrução sequencial de quadros não relacionados, que ninguém solicitou;
• reconstrução de cadeias de referências necessárias apenas para os quadros-alvo em si.

As soluções alternativas comuns penalizam o armazenamento. Quadros JPEG independentes ou GOPs curtos aliviam a carga do decodificador, mas inflam o volume de armazenamento e o tráfego, o que em escala de centenas de milhares de episódios rapidamente vira um item significativo de custo.

Duas alavancas: decodificação esparsa e DDRA

Os pesquisadores atacaram as duas causas simultaneamente, alinhando o cronograma de decodificação com a estrutura de referências.

O primeiro componente, dependency-aware sparse decoding, reconstrói apenas os quadros solicitados e as referências estritamente necessárias para montá-los. Todo o resto é ignorado. Não é preciso recodificar os vídeos originais para isso, então o método pode ser aplicado a conjuntos de dados já existentes.

O segundo componente, Dependency-Decoupled Random Access (DDRA), é opcional e funciona como uma codificação offline. Cada quadro interno recebe referências apenas para duas âncoras intra-codificadas que o delimitam. A predição entre quadros é preservada, então a compressão continua eficiente, enquanto as longas cadeias de dependência desaparecem.

Juntas, essas técnicas estabelecem um limite rígido: no máximo três quadros reconstruídos por quadro solicitado (o alvo e as duas âncoras). Esse limite superior não depende do tamanho do período intra, ou seja, o GOP pode ser longo para melhorar a compactação sem custo em tempo de decodificação.

O que as medições mostraram

Os experimentos foram feitos em um grande corpus de dados de robótica, usando a configuração do LeRobot v3 como ponto de referência. Resultados para o DDRA H.265:

• 58,7% menos dados de mídia;
• 1,45× de throughput no carregamento de dados;
• qualidade de reconstrução de quadros comparável;
• resultados comparáveis em tarefas de VLA, WAM e VLM, com configurações de compressão adequadas (experimentos separados dos autores).

Esse último ponto é o mais importante na prática. O ganho de velocidade não vale nada se o modelo, depois de treinado com quadros fortemente comprimidos, tiver desempenho pior. Os autores verificaram essa questão separadamente em três tipos de modelos e destacam a ressalva: trata-se de configurações de compressão adequadas, não de qualquer taxa de bits.

Entre os autores estão Zetian Song, Qize Yu, Yue Chen, Shiyu Huang, Siwei Ma e Wen Gao. O projeto está vinculado ao ecossistema do LeRobot e recomenda explicitamente não usar o armazenamento de vídeo padrão dessa plataforma.

Quem deveria testar o benchmark

Os primeiros candidatos a testar são as equipes que treinam políticas para manipuladores e humanoides em conjuntos de dados do LeRobot. Para elas, o vídeo representa a maior parte do volume de dados, e o carregador frequentemente esbarra na decodificação, não na GPU. Se a aceleração de 1,45 vezes se confirmar no hardware e no padrão de amostragem delas, cada época de treinamento ficará mais rápida.

A economia de 58,7% no volume também é relevante de forma independente da velocidade. Ela reduz custos de armazenamento, de cópia entre clusters e de download a partir de armazenamentos remotos.

A sequência de ações é clara. A decodificação esparsa pode ser testada em dados já existentes, sem recodificação, e se o carregamento acelerar de forma perceptível, o passo seguinte é adotar o DDRA e recodificar o arquivo offline. Antes disso, vale rodar o próprio conjunto de tarefas em diferentes níveis de compressão, como fizeram os autores, para garantir que as métricas do modelo downstream não piorem.

O repositório ainda é modesto, mas sua abertura permite comparar a abordagem com o pipeline atual usando os próprios dados.