L'université de Pékin accélère le chargement de vidéos pour l'IA d'un facteur 1,45

Des chercheurs de l'université de Pékin, dirigés par l'académicien Wen Gao, ont proposé codec4AI : une méthode de stockage et de lecture vidéo calibrée sur la charge réelle de l'entraînement des réseaux de neurones. Sur un vaste corpus robotique, la variante DDRA H.265 affiche un gain de 1,45× sur le débit de chargement des données par rapport à la configuration LeRobot v3, prise comme référence par les auteurs. Le volume de données multimédia est dans le même temps réduit de 58,7 %, pour une qualité de reconstruction comparable. L'article est publié sur arXiv (2610.33079), le code et la documentation sont en accès libre.

Pourquoi les codecs freinent l'entraînement

Les codecs vidéo standards ont été conçus pour la lecture : les images s'enchaînent, et la compression exploite au maximum les liens entre images voisines. La plupart des images sont stockées comme une différence par rapport à d'autres, si bien qu'afficher une seule image nécessite de reconstruire toute la chaîne de ses références jusqu'à l'image-clé la plus proche.

L'entraînement fonctionne différemment. Les jeux de données robotiques destinés aux modèles VLA et autres systèmes multimodaux échantillonnent les images de façon aléatoire dans le temps. Le chargeur de données demande une image au milieu d'une séquence, et le décodeur doit alors reconstruire fidèlement tout ce dont il a besoin pour y parvenir.

Les auteurs nomment cet effet decode amplification et en identifient deux sources :

• la reconstruction séquentielle d'images non liées, que personne n'a demandées ;
• la reconstruction des chaînes de références nécessaires aux images cibles elles-mêmes.

Les contournements habituels pèsent sur le stockage. Des images JPEG indépendantes ou des GOP courts soulagent le décodeur, mais font gonfler les volumes de stockage et de trafic, et à l'échelle de centaines de milliers d'épisodes, cela devient vite un poste de dépense important.

Deux leviers : décodage sparse et DDRA

Les chercheurs attaquent les deux causes à la fois, en alignant le calendrier de décodage sur la structure des dépendances.

Le premier composant, le dependency-aware sparse decoding, ne reconstruit que les images demandées et les références strictement nécessaires pour les obtenir. Tout le reste est ignoré. Les vidéos sources n'ont pas besoin d'être recodées pour cela, la méthode peut donc s'appliquer aux jeux de données déjà accumulés.

Le second composant, Dependency-Decoupled Random Access (DDRA), est optionnel et fonctionne comme un encodage hors ligne. Chaque image interne ne reçoit des références que vers deux ancres intra-codées qui l'encadrent. La prédiction inter-images est conservée, donc la compression reste efficace, tandis que les longues chaînes de dépendances disparaissent.

Combinées, ces deux techniques imposent une limite stricte : au plus trois images reconstruites par image demandée (la cible et ses deux ancres). Cette limite supérieure ne dépend pas de la longueur de la période intra, ce qui permet d'allonger le GOP pour gagner en compacité, sans payer en temps de décodage.

Ce que montrent les mesures

Les expériences ont été menées sur un vaste corpus de données robotiques, avec la configuration LeRobot v3 comme point de référence. Résultats pour DDRA H.265 :

• 58,7 % de données multimédia en moins ;
• débit de chargement des données multiplié par 1,45 ;
• qualité de reconstruction des images comparable ;
• résultats comparables sur les tâches VLA, WAM et VLM avec des réglages de compression adaptés (expériences distinctes menées par les auteurs).

Ce dernier point est le plus important en pratique. Le gain de vitesse ne vaut rien si le modèle, une fois entraîné sur des images fortement compressées, fonctionne moins bien. Les auteurs ont vérifié ce point séparément sur trois types de modèles, et insistent sur une réserve : il s'agit de réglages de compression adaptés, pas de n'importe quel débit.

Parmi les auteurs figurent Zetian Song, Qize Yu, Yue Chen, Shiyu Huang, Siwei Ma et Wen Gao. Le projet est rattaché à l'écosystème LeRobot et déconseille explicitement d'utiliser son stockage vidéo par défaut.

À qui s'adresse ce benchmark

Les premiers candidats pour le tester sont les équipes qui entraînent des politiques pour bras manipulateurs et humanoïdes sur des jeux de données LeRobot. Chez eux, la vidéo représente l'essentiel du volume, et le chargeur bute souvent sur le décodage plutôt que sur le GPU. Si le gain de 1,45× se confirme sur leur matériel et avec leur schéma d'échantillonnage, chaque époque d'entraînement s'en trouvera accélérée.

L'économie de 58,7 % de volume compte aussi indépendamment de la vitesse. Elle réduit les coûts de stockage, de copie entre clusters et de chargement depuis des dépôts distants.

L'ordre des opérations est clair. Le décodage sparse se teste sur les données existantes sans recodage, et si le chargement s'accélère sensiblement, on peut passer à DDRA et au recodage hors ligne de l'archive. Avant cela, il vaut mieux faire tourner ses propres tâches sur différents niveaux de compression, comme l'ont fait les auteurs, et vérifier que les métriques du modèle en aval ne se dégradent pas.

Le dépôt reste modeste pour l'instant, mais son ouverture permet de comparer l'approche à son propre pipeline sur ses propres données.