Пекинский университет ускорил загрузку видео для ИИ в 1,45 раза

Исследователи из Пекинского университета под руководством академика Wen Gao предложили codec4AI: способ хранить и читать видео, подогнанный под реальную нагрузку обучения нейросетей. На большом робототехническом корпусе вариант DDRA H.265 показал 1,45× к пропускной способности загрузки данных по сравнению с конфигурацией LeRobot v3, которую авторы взяли для сравнения. Объём медиаданных при этом на 58,7% меньше, а качество реконструкции сопоставимо. Статья опубликована на arXiv (2610.33079), код и документация лежат в открытом доступе.

Почему кодеки мешают обучению

Стандартные видеокодеки создавались для воспроизведения: кадры идут подряд, и сжатие выжимает максимум из ссылок между соседями. Большинство кадров хранится как разница относительно других, поэтому чтобы показать один, нужно восстановить цепочку его референсов от ближайшего ключевого кадра.

Обучение устроено иначе. Робототехнические датасеты для VLA-моделей и других мультимодальных систем семплируют кадры случайно по времени. Датасет-лоадер просит кадр из середины ролика, а декодер честно разворачивает всё, что ему для этого нужно.

Авторы называют этот эффект decode amplification и выделяют два источника:

• последовательная реконструкция несвязанных кадров, которые никто не запрашивал;
• реконструкция цепочек референсов, нужных для самих целевых кадров.

Обычные обходные пути бьют по хранилищу. Независимые JPEG-кадры или короткие GOP снимают нагрузку с декодера, но раздувают объёмы хранения и трафика, а на масштабе сотен тысяч эпизодов это быстро становится статьёй расходов.

Два рычага: разреженное декодирование и DDRA

Исследователи атаковали обе причины сразу, согласовав расписание декодирования со структурой ссылок.

Первый компонент, dependency-aware sparse decoding, восстанавливает только запрошенные кадры и те референсы, без которых их не собрать. Всё остальное пропускается. Исходные видео перекодировать для этого не нужно, так что метод можно применить к уже накопленным датасетам.

Второй компонент, Dependency-Decoupled Random Access (DDRA), необязателен и работает как офлайн-кодирование. Каждый внутренний кадр получает ссылки только на два ограничивающих intra-кодированных якоря. Межкадровое предсказание сохраняется, поэтому сжатие остаётся эффективным, а цепочки длинных зависимостей исчезают.

Вместе эти приёмы дают жёсткую границу: на один запрошенный кадр приходится не более трёх реконструируемых кадров (цель и два якоря). Верхний предел не зависит от длины intra-периода, то есть GOP можно делать длинным ради компактности, не платя за это временем декодирования.

Что показали измерения

Эксперименты шли на крупном корпусе робототехнических данных, а базовой точкой стала конфигурация LeRobot v3. Результаты для DDRA H.265:

• на 58,7% меньше медиаданных;
• 1,45× пропускная способность загрузки данных;
• сопоставимое качество реконструкции кадров;
• сопоставимые результаты на задачах VLA, WAM и VLM при подходящих настройках сжатия (отдельные эксперименты авторов).

Последний пункт самый важный для практики. Выигрыш в скорости ничего не стоит, если модель после обучения на сильно сжатых кадрах работает хуже. Авторы отдельно проверили этот вопрос на трёх типах моделей и подчёркивают оговорку: речь о подходящих настройках сжатия, а не о любом битрейте.

Среди авторов Zetian Song, Qize Yu, Yue Chen, Shiyu Huang, Siwei Ma и Wen Gao. Проект привязан к экосистеме LeRobot и прямо рекомендует не использовать её видеохранилище по умолчанию.

Кому стоит прогнать бенчмарк

Первые кандидаты на проверку — команды, которые обучают политики для манипуляторов и гуманоидов на LeRobot-датасетах. У них видео составляет основную часть объёма, а лоадер часто упирается в декодирование, а не в GPU. Если ускорение в 1,45 раза подтвердится на их железе и с их паттерном семплирования, ускорится каждая эпоха.

Экономия 58,7% объёма важна и отдельно от скорости. Она снижает затраты на хранение, на копирование между кластерами и на загрузку с удалённых хранилищ.

Порядок действий понятен. Sparse decoding проверяется на существующих данных без перекодирования, и если загрузка заметно ускоряется, можно переходить к DDRA и офлайн-перекодированию архива. Перед этим стоит прогнать свой набор задач на разных уровнях сжатия, как это сделали авторы, и убедиться, что метрики downstream-модели не просели.

Репозиторий пока скромный, но его открытость позволяет сравнить подход с текущим пайплайном на собственных данных.