La Universidad de Pekín acelera la carga de vídeo para IA en 1,45 veces

Investigadores de la Universidad de Pekín, liderados por el académico Wen Gao, han presentado codec4AI: un método para almacenar y leer vídeo adaptado a la carga de trabajo real del entrenamiento de redes neuronales. En un amplio corpus de datos de robótica, la variante DDRA H.265 mostró un aumento de 1,45× en el ancho de banda de carga de datos frente a la configuración de LeRobot v3, utilizada por los autores como referencia de comparación. El volumen de datos multimedia es, además, un 58,7% menor, con una calidad de reconstrucción comparable. El artículo se ha publicado en arXiv (2610.33079), y el código y la documentación están disponibles en acceso abierto.

Por qué los códecs obstaculizan el entrenamiento

Los códecs de vídeo estándar se diseñaron para la reproducción: los fotogramas se suceden uno tras otro, y la compresión aprovecha al máximo las referencias entre fotogramas vecinos. La mayoría de los fotogramas se almacenan como una diferencia respecto a otros, por lo que, para mostrar uno solo, es necesario reconstruir toda la cadena de referencias hasta el fotograma clave más cercano.

El entrenamiento funciona de otra manera. Los conjuntos de datos de robótica para modelos VLA y otros sistemas multimodales muestrean los fotogramas de forma aleatoria en el tiempo. El cargador del dataset solicita un fotograma del medio de un vídeo, y el decodificador tiene que reconstruir fielmente todo lo necesario para obtenerlo.

Los autores denominan este efecto decode amplification (amplificación de la decodificación) e identifican dos causas:

• la reconstrucción secuencial de fotogramas no relacionados que nadie ha solicitado;
• la reconstrucción de las cadenas de referencias necesarias para los propios fotogramas objetivo.

Las soluciones habituales penalizan el almacenamiento. Usar fotogramas JPEG independientes o GOP cortos alivia la carga del decodificador, pero infla el volumen de almacenamiento y de tráfico, y a la escala de cientos de miles de episodios esto se convierte rápidamente en una partida de gasto considerable.

Dos palancas: decodificación dispersa y DDRA

Los investigadores atacaron ambas causas a la vez, alineando el calendario de decodificación con la estructura de referencias.

El primer componente, dependency-aware sparse decoding (decodificación dispersa consciente de las dependencias), reconstruye únicamente los fotogramas solicitados y las referencias imprescindibles para montarlos. Todo lo demás se omite. No es necesario reconvertir los vídeos originales, por lo que el método puede aplicarse a conjuntos de datos ya acumulados.

El segundo componente, Dependency-Decoupled Random Access (DDRA), es opcional y funciona como una codificación fuera de línea (offline). Cada fotograma interno recibe referencias únicamente a dos anclas codificadas en intra que lo delimitan. La predicción entre fotogramas se conserva, por lo que la compresión sigue siendo eficiente, mientras que las cadenas largas de dependencias desaparecen.

Juntas, estas técnicas establecen un límite estricto: por cada fotograma solicitado, se reconstruyen como máximo tres fotogramas (el objetivo y las dos anclas). Este límite superior no depende de la duración del periodo intra, de modo que el GOP puede alargarse para ganar compacidad sin pagar un coste en tiempo de decodificación.

Qué mostraron las mediciones

Los experimentos se realizaron sobre un gran corpus de datos de robótica, tomando como punto de referencia la configuración de LeRobot v3. Los resultados para DDRA H.265 fueron:

• un 58,7% menos de datos multimedia;
• 1,45× de ancho de banda en la carga de datos;
• una calidad de reconstrucción de fotogramas comparable;
• resultados comparables en tareas de VLA, WAM y VLM con ajustes de compresión adecuados (experimentos independientes de los autores).

Este último punto es el más relevante desde el punto de vista práctico. La ganancia en velocidad no tiene ningún valor si el modelo, tras entrenarse con fotogramas muy comprimidos, rinde peor. Los autores comprobaron específicamente esta cuestión en tres tipos de modelos y subrayan una salvedad: se trata de ajustes de compresión adecuados, no de cualquier tasa de bits.

Entre los autores figuran Zetian Song, Qize Yu, Yue Chen, Shiyu Huang, Siwei Ma y Wen Gao. El proyecto está vinculado al ecosistema de LeRobot y recomienda expresamente no utilizar su almacenamiento de vídeo por defecto.

A quién le conviene probar el benchmark

Los primeros candidatos para esta comprobación son los equipos que entrenan políticas para brazos manipuladores y humanoides con conjuntos de datos de LeRobot. En ellos, el vídeo representa la mayor parte del volumen, y el cargador a menudo se ve limitado por la decodificación, no por la GPU. Si la aceleración de 1,45 veces se confirma con su hardware y su patrón de muestreo, cada época se acelerará.

El ahorro del 58,7% en volumen es relevante también de forma independiente a la velocidad. Reduce los costes de almacenamiento, de copia entre clústeres y de descarga desde almacenamientos remotos.

El procedimiento es claro. La decodificación dispersa se puede probar sobre los datos existentes sin reconvertirlos, y si la carga se acelera de forma apreciable, se puede pasar a DDRA y a la reconversión offline del archivo. Antes de hacerlo, conviene probar el propio conjunto de tareas con distintos niveles de compresión, tal como hicieron los autores, y comprobar que las métricas del modelo downstream no se deterioran.

El repositorio es todavía modesto, pero su apertura permite comparar el enfoque con el pipeline actual utilizando los propios datos.