Netflix сложил видео и звук в одну таблицу LanceDB: 5 млн операций диска в секунду
У Netflix кадры, звук и субтитры лежат в разных системах, и для обучения моделей их приходится собирать вручную. Теперь всё в одной таблице LanceDB: рядом с видео хранятся метаданные и эмбеддинги — числовые «отпечатки» сцены. Кэш на NVMe-дисках делает более 5 млн операций чтения-записи в секунду (IOPS) и тянет 20 тысяч поисков похожих кадров в секунду. Вывод: мультимодальные данные лучше держать в одном месте, а не копировать под задачи.
AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Представьте, что вам нужно обучить модель на сериале Netflix: найти сцены, похожие на заданную, отфильтровать их по репликам и подмешать служебные данные о съёмке. Кадры лежат в одном хранилище, звук в другом, субтитры в третьем, а результаты разметки моделями разбросаны по скриптам и таблицам. Netflix рассказал, как навёл в этом порядок: собрал «озеро медиаданных» (Media Data Lake) на формате Lance и базе LanceDB.
Главные цифры такие: кэш на быстрых NVMe-дисках выдаёт более 5 млн IOPS (операций чтения-записи в секунду), а векторный поиск, то есть поиск похожих кадров и фрагментов по их числовым «отпечаткам» смысла (эмбеддингам), выдерживает более 20 тысяч запросов в секунду. Описание опубликовано в блоге самой LanceDB, поэтому цифры вендорские, но случай показателен для всех, кто работает с видео, аудио и изображениями.
Какую проблему решали
Классические хранилища хорошо справляются с таблицами чисел и текста: метрики, логи, события. Медиа устроено иначе. Один сериал даёт миллионы кадров, часы многоканального звука, субтитры и аннотации. К ним добавляются производные данные: эмбеддинги, метки от моделей, результаты анализа сцен. Всё это связано с творческими процессами и историей происхождения ассетов.
Команда Media ML Data Engineering в Netflix выделила для этого отдельную специализацию на стыке обычной дата-инженерии и ML для медиа. Результат называется Media Tables. Это таблицы, где рядом лежат канонические метаданные, сами «сырые» файлы (блобы) и выходы моделей. Исследователь работает с одним источником правды, а не собирает данные из пяти систем.
Как это устроено
В основе лежит формат Lance. Он рассчитан на быстрый произвольный доступ, а это важно при обучении, когда данные нужно постоянно перемешивать и фильтровать. Второе свойство — добавление новых колонок без переписывания данных. Допустим, появилась модель, которая размечает сцены по настроению. Её результаты просто дописываются к таблице, а петабайты видео никто не дублирует.
Поверх одной таблицы работают разные виды запросов: SQL, векторный поиск и полнотекстовый поиск. Типичный сценарий: найти кадры, визуально похожие на заданный, отфильтровать их по репликам в диалоге и присоединить структурированные метаданные. Всё это происходит в одной системе.
Признаки считаются с помощью пользовательских функций (UDF), которые масштабируются на сотни тысяч CPU-ядер и GPU-слотов. В примере из статьи такая функция берёт текстовую колонку и с помощью загруженной модели превращает предложения в векторы длиной 384 числа. Расчёты идут инкрементально, с контрольными точками и возможностью вытеснения: дорогой GPU-прогон можно приостановить и продолжить без повторной работы.
Для обучения модели читают данные через именованные SQL-представления над сырыми ассетами и признаками, а к блобам обращаются напрямую через эффективные API.
Цифры и что с ними делать
По данным поста, система индексирует миллиарды векторов за часы и управляет десятками петабайт под одной абстракцией. Распределённый кэш на NVMe SSD даёт более 5 млн IOPS и выдерживает более 20 тысяч запросов векторного поиска в секунду. По словам авторов, это снижает расходы на облачное хранилище и позволяет экспериментировать с крупными мультимодальными моделями при приемлемой стоимости. Среди применений названы HDR-ремастеринг, метрики качества локализации, понимание сюжета и мультимодальный поиск.
Практический вывод для разработчиков и продактов:
- Если у вас видео, аудио или изображения, заранее проектируйте единую таблицу с блобами, метаданными и эмбеддингами, а не набор разрозненных индексов.
- Выбирайте формат, где новые признаки добавляются без переписывания данных. Иначе каждая новая модель превращается в копирование терабайтов.
- Закладывайте паузу и возобновление для дорогих GPU-задач: это прямая экономия бюджета.
Ограничения
Источник — блог поставщика, а не независимый бенчмарк. Стоимость инфраструктуры в деньгах, размер кластера и сравнение с альтернативами вроде Iceberg или Delta Lake в тексте не приведены. ByteDance, Midjourney, Runway и Character AI упомянуты как пользователи LanceDB, но без деталей нагрузки. Тем не менее формат решения полезен как ориентир: Netflix показывает, что мультимодальное «озеро» с единым доступом для SQL, векторного поиска и обучения работает в продакшене на масштабе десятков петабайт. Сама технология открыта, так что идею можно проверить на своих данных.
- 21 нояб. 2026 г.Gemini 4 Neon сжала бинарник TS Rust с 47,44 до 7,97 МБ меньше чем за 10 часов
- 21 нояб. 2026 г.Ролик о Claude в GTA 6 похож на фейк: полчаса управления съели 5-часовой лимит Pro
- 21 нояб. 2026 г.В тесте MLPerf впервые участвуют Nvidia Rubin и TPU Ironwood: 153 системы
- 21 нояб. 2026 г.Waymo убрала роботакси с автострад после новых заездов в зоны ремонта
Вопросы и ответы по материалу
Что известно по теме: какую проблему решали?
Классические хранилища хорошо справляются с таблицами чисел и текста: метрики, логи, события. Медиа устроено иначе. Один сериал даёт миллионы кадров, часы многоканального звука, субтитры и аннотации. К ним добавляются производные данные: эмбеддинги, метки от моделей, результаты анализа сцен. Всё это связано с творческими процессами и историей происхождения ассетов. Команда Media ML Data Engineering в Netflix выделила для этого отдельную специализацию на стыке обычной дата-инженерии и ML для медиа.
Что известно по теме: как это устроено?
В основе лежит формат Lance. Он рассчитан на быстрый произвольный доступ, а это важно при обучении, когда данные нужно постоянно перемешивать и фильтровать. Второе свойство — добавление новых колонок без переписывания данных. Допустим, появилась модель, которая размечает сцены по настроению. Её результаты просто дописываются к таблице, а петабайты видео никто не дублирует. Поверх одной таблицы работают разные виды запросов: SQL, векторный поиск и полнотекстовый поиск.
Что известно по теме: цифры и что с ними делать?
По данным поста, система индексирует миллиарды векторов за часы и управляет десятками петабайт под одной абстракцией. Распределённый кэш на NVMe SSD даёт более 5 млн IOPS и выдерживает более 20 тысяч запросов векторного поиска в секунду. По словам авторов, это снижает расходы на облачное хранилище и позволяет экспериментировать с крупными мультимодальными моделями при приемлемой стоимости. Среди применений названы HDR-ремастеринг, метрики качества локализации, понимание сюжета и мультимодальный поиск.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.