Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарLanceDB Blog→ оригинал

Netflix сложил видео и звук в одну таблицу LanceDB: 5 млн операций диска в секунду

У Netflix кадры, звук и субтитры лежат в разных системах, и для обучения моделей их приходится собирать вручную. Теперь всё в одной таблице LanceDB: рядом с видео хранятся метаданные и эмбеддинги — числовые «отпечатки» сцены. Кэш на NVMe-дисках делает более 5 млн операций чтения-записи в секунду (IOPS) и тянет 20 тысяч поисков похожих кадров в секунду. Вывод: мультимодальные данные лучше держать в одном месте, а не копировать под задачи.

AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Netflix сложил видео и звук в одну таблицу LanceDB: 5 млн операций диска в секунду
Источник: LanceDB Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLanceDB Blog ↗
Главный редактор
Ключевой факт #1Миллиарды векторов индексируются за часы, объём — десятки петабайт
Ключевой факт #2Новые признаки добавляют без копирования петабайтов данных
Ключевой факт #3Долгие GPU-расчёты ставят на паузу и продолжают без повторного прогона

Представьте, что вам нужно обучить модель на сериале Netflix: найти сцены, похожие на заданную, отфильтровать их по репликам и подмешать служебные данные о съёмке. Кадры лежат в одном хранилище, звук в другом, субтитры в третьем, а результаты разметки моделями разбросаны по скриптам и таблицам. Netflix рассказал, как навёл в этом порядок: собрал «озеро медиаданных» (Media Data Lake) на формате Lance и базе LanceDB.

Главные цифры такие: кэш на быстрых NVMe-дисках выдаёт более 5 млн IOPS (операций чтения-записи в секунду), а векторный поиск, то есть поиск похожих кадров и фрагментов по их числовым «отпечаткам» смысла (эмбеддингам), выдерживает более 20 тысяч запросов в секунду. Описание опубликовано в блоге самой LanceDB, поэтому цифры вендорские, но случай показателен для всех, кто работает с видео, аудио и изображениями.

Какую проблему решали

Классические хранилища хорошо справляются с таблицами чисел и текста: метрики, логи, события. Медиа устроено иначе. Один сериал даёт миллионы кадров, часы многоканального звука, субтитры и аннотации. К ним добавляются производные данные: эмбеддинги, метки от моделей, результаты анализа сцен. Всё это связано с творческими процессами и историей происхождения ассетов.

Команда Media ML Data Engineering в Netflix выделила для этого отдельную специализацию на стыке обычной дата-инженерии и ML для медиа. Результат называется Media Tables. Это таблицы, где рядом лежат канонические метаданные, сами «сырые» файлы (блобы) и выходы моделей. Исследователь работает с одним источником правды, а не собирает данные из пяти систем.

Как это устроено

В основе лежит формат Lance. Он рассчитан на быстрый произвольный доступ, а это важно при обучении, когда данные нужно постоянно перемешивать и фильтровать. Второе свойство — добавление новых колонок без переписывания данных. Допустим, появилась модель, которая размечает сцены по настроению. Её результаты просто дописываются к таблице, а петабайты видео никто не дублирует.

Поверх одной таблицы работают разные виды запросов: SQL, векторный поиск и полнотекстовый поиск. Типичный сценарий: найти кадры, визуально похожие на заданный, отфильтровать их по репликам в диалоге и присоединить структурированные метаданные. Всё это происходит в одной системе.

Признаки считаются с помощью пользовательских функций (UDF), которые масштабируются на сотни тысяч CPU-ядер и GPU-слотов. В примере из статьи такая функция берёт текстовую колонку и с помощью загруженной модели превращает предложения в векторы длиной 384 числа. Расчёты идут инкрементально, с контрольными точками и возможностью вытеснения: дорогой GPU-прогон можно приостановить и продолжить без повторной работы.

Для обучения модели читают данные через именованные SQL-представления над сырыми ассетами и признаками, а к блобам обращаются напрямую через эффективные API.

Цифры и что с ними делать

По данным поста, система индексирует миллиарды векторов за часы и управляет десятками петабайт под одной абстракцией. Распределённый кэш на NVMe SSD даёт более 5 млн IOPS и выдерживает более 20 тысяч запросов векторного поиска в секунду. По словам авторов, это снижает расходы на облачное хранилище и позволяет экспериментировать с крупными мультимодальными моделями при приемлемой стоимости. Среди применений названы HDR-ремастеринг, метрики качества локализации, понимание сюжета и мультимодальный поиск.

Практический вывод для разработчиков и продактов:

  • Если у вас видео, аудио или изображения, заранее проектируйте единую таблицу с блобами, метаданными и эмбеддингами, а не набор разрозненных индексов.
  • Выбирайте формат, где новые признаки добавляются без переписывания данных. Иначе каждая новая модель превращается в копирование терабайтов.
  • Закладывайте паузу и возобновление для дорогих GPU-задач: это прямая экономия бюджета.

Ограничения

Источник — блог поставщика, а не независимый бенчмарк. Стоимость инфраструктуры в деньгах, размер кластера и сравнение с альтернативами вроде Iceberg или Delta Lake в тексте не приведены. ByteDance, Midjourney, Runway и Character AI упомянуты как пользователи LanceDB, но без деталей нагрузки. Тем не менее формат решения полезен как ориентир: Netflix показывает, что мультимодальное «озеро» с единым доступом для SQL, векторного поиска и обучения работает в продакшене на масштабе десятков петабайт. Сама технология открыта, так что идею можно проверить на своих данных.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: какую проблему решали?

Классические хранилища хорошо справляются с таблицами чисел и текста: метрики, логи, события. Медиа устроено иначе. Один сериал даёт миллионы кадров, часы многоканального звука, субтитры и аннотации. К ним добавляются производные данные: эмбеддинги, метки от моделей, результаты анализа сцен. Всё это связано с творческими процессами и историей происхождения ассетов. Команда Media ML Data Engineering в Netflix выделила для этого отдельную специализацию на стыке обычной дата-инженерии и ML для медиа.

Что известно по теме: как это устроено?

В основе лежит формат Lance. Он рассчитан на быстрый произвольный доступ, а это важно при обучении, когда данные нужно постоянно перемешивать и фильтровать. Второе свойство — добавление новых колонок без переписывания данных. Допустим, появилась модель, которая размечает сцены по настроению. Её результаты просто дописываются к таблице, а петабайты видео никто не дублирует. Поверх одной таблицы работают разные виды запросов: SQL, векторный поиск и полнотекстовый поиск.

Что известно по теме: цифры и что с ними делать?

По данным поста, система индексирует миллиарды векторов за часы и управляет десятками петабайт под одной абстракцией. Распределённый кэш на NVMe SSD даёт более 5 млн IOPS и выдерживает более 20 тысяч запросов векторного поиска в секунду. По словам авторов, это снижает расходы на облачное хранилище и позволяет экспериментировать с крупными мультимодальными моделями при приемлемой стоимости. Среди применений названы HDR-ремастеринг, метрики качества локализации, понимание сюжета и мультимодальный поиск.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…