Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarLanceDB Blog→ original

Netflix réunit vidéo et audio dans une seule table LanceDB : 5 millions d'opérations disque par seconde

Chez Netflix, les images, le son et les sous-titres vivaient dans des systèmes distincts, et il fallait les assembler à la main pour entraîner les modèles. Tout tient désormais dans une seule table LanceDB : à côté de la vidéo, on trouve les métadonnées et les embeddings, des « empreintes » numériques de la scène. Le cache sur disques NVMe dépasse 5 millions d'opérations de lecture-écriture par seconde (IOPS) et absorbe 20 000 recherches d'images similaires par seconde. La leçon : mieux vaut conserver les données multimodales au même endroit que les copier pour chaque usage.

Traité par IA depuis LanceDB Blog ; édité par Hamidun News
Netflix réunit vidéo et audio dans une seule table LanceDB : 5 millions d'opérations disque par seconde
Source : LanceDB Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireLanceDB Blog ↗
Rédacteur en chef
Chiffre clé #1Des milliards de vecteurs indexés en quelques heures, pour des dizaines de pétaoctets
Chiffre clé #2De nouvelles caractéristiques ajoutées sans copier des pétaoctets de données
Chiffre clé #3Les longs calculs GPU peuvent être mis en pause puis repris sans relancer le traitement

Imaginez que vous deviez entraîner un modèle sur une série Netflix : retrouver les scènes proches d'une scène donnée, les filtrer selon les répliques et y ajouter des données techniques de tournage. Les images sont stockées dans un système, le son dans un autre, les sous-titres dans un troisième, et les résultats d'annotation des modèles sont éparpillés entre scripts et tables. Netflix explique comment il a remis de l'ordre dans tout cela : l'entreprise a construit un « lac de données média » (Media Data Lake) sur le format Lance et la base LanceDB.

Les chiffres clés : un cache sur disques NVMe rapides délivre plus de 5 millions d'IOPS (opérations de lecture-écriture par seconde), et la recherche vectorielle, c'est-à-dire la recherche d'images et d'extraits similaires à partir de leurs « empreintes » numériques de sens (les embeddings), tient plus de 20 000 requêtes par seconde. La description a été publiée sur le blog de LanceDB lui-même : les chiffres sont donc ceux d'un éditeur, mais le cas est instructif pour quiconque travaille avec de la vidéo, de l'audio et des images.

Le problème à résoudre

Les entrepôts de données classiques gèrent bien les tables de chiffres et de texte : métriques, logs, événements. Le média fonctionne autrement. Une seule série produit des millions d'images, des heures d'audio multicanal, des sous-titres et des annotations. S'y ajoutent des données dérivées : embeddings, étiquettes générées par des modèles, résultats d'analyse de scènes. Tout cela est lié aux processus créatifs et à l'historique de provenance des assets.

L'équipe Media ML Data Engineering de Netflix a créé pour cela une spécialité à part, à la jonction de l'ingénierie des données classique et du ML appliqué au média. Le résultat s'appelle Media Tables. Ce sont des tables qui regroupent côte à côte les métadonnées canoniques, les fichiers « bruts » eux-mêmes (blobs) et les sorties des modèles. Le chercheur travaille avec une source de vérité unique, au lieu de compiler des données issues de cinq systèmes.

Comment ça fonctionne

Le socle est le format Lance. Il est conçu pour un accès aléatoire rapide, ce qui compte à l'entraînement, quand il faut sans cesse mélanger et filtrer les données. Seconde propriété : l'ajout de nouvelles colonnes sans réécrire les données. Si un modèle apparaît pour étiqueter les scènes selon leur ambiance, ses résultats sont simplement ajoutés à la table, et personne ne duplique les pétaoctets de vidéo.

Au-dessus d'une même table, plusieurs types de requêtes cohabitent : SQL, recherche vectorielle et recherche plein texte. Scénario typique : trouver les images visuellement proches d'une image donnée, les filtrer selon les répliques du dialogue et y joindre des métadonnées structurées. Le tout se passe dans un seul système.

Les caractéristiques sont calculées au moyen de fonctions utilisateur (UDF) qui passent à l'échelle sur des centaines de milliers de cœurs CPU et de slots GPU. Dans l'exemple de l'article, une telle fonction prend une colonne de texte et, grâce à un modèle chargé en mémoire, transforme les phrases en vecteurs de 384 nombres. Les calculs sont incrémentaux, avec points de contrôle et possibilité de préemption : un traitement GPU coûteux peut être suspendu puis repris sans refaire le travail.

Pour l'entraînement, les modèles lisent les données via des vues SQL nommées placées au-dessus des assets bruts et des caractéristiques, et accèdent aux blobs directement par des API efficaces.

Les chiffres et ce qu'on peut en faire

Selon le billet, le système indexe des milliards de vecteurs en quelques heures et gère des dizaines de pétaoctets sous une seule abstraction. Le cache distribué sur SSD NVMe délivre plus de 5 millions d'IOPS et tient plus de 20 000 requêtes de recherche vectorielle par seconde. D'après les auteurs, cela réduit les coûts de stockage cloud et permet d'expérimenter avec de grands modèles multimodaux à un coût acceptable. Parmi les usages cités : le remastering HDR, les métriques de qualité de la localisation, la compréhension de l'intrigue et la recherche multimodale.

Ce qu'il faut en retenir pour les développeurs et les product managers :

  • Si vous manipulez de la vidéo, de l'audio ou des images, concevez dès le départ une table unique réunissant blobs, métadonnées et embeddings, plutôt qu'un ensemble d'index disparates.
  • Choisissez un format où les nouvelles caractéristiques s'ajoutent sans réécriture des données. Sinon, chaque nouveau modèle revient à copier des téraoctets.
  • Prévoyez pause et reprise pour les tâches GPU coûteuses : c'est une économie directe de budget.

Limites

La source est le blog d'un fournisseur, pas un benchmark indépendant. Le coût financier de l'infrastructure, la taille du cluster et la comparaison avec des alternatives comme Iceberg ou Delta Lake ne figurent pas dans le texte. ByteDance, Midjourney, Runway et Character AI sont cités comme utilisateurs de LanceDB, mais sans détail sur leur charge. Le modèle de solution reste néanmoins un repère utile : Netflix montre qu'un « lac » multimodal offrant un accès unifié au SQL, à la recherche vectorielle et à l'entraînement fonctionne en production à l'échelle de dizaines de pétaoctets. La technologie elle-même est ouverte, et l'idée peut donc être testée sur vos propres données.

Dossier

Questions clés sur cet article

Que sait-on sur Le problème à résoudre ?

Les entrepôts de données classiques gèrent bien les tables de chiffres et de texte : métriques, logs, événements. Le média fonctionne autrement. Une seule série produit des millions d'images, des heures d'audio multicanal, des sous-titres et des annotations. S'y ajoutent des données dérivées : embeddings, étiquettes générées par des modèles, résultats d'analyse de scènes. Tout cela est lié aux processus créatifs et à l'historique de provenance des assets.

Comment ça fonctionne?

Le socle est le format Lance. Il est conçu pour un accès aléatoire rapide, ce qui compte à l'entraînement, quand il faut sans cesse mélanger et filtrer les données. Seconde propriété : l'ajout de nouvelles colonnes sans réécrire les données. Si un modèle apparaît pour étiqueter les scènes selon leur ambiance, ses résultats sont simplement ajoutés à la table, et personne ne duplique les pétaoctets de vidéo.

Que sait-on sur Les chiffres et ce qu'on peut en faire ?

Selon le billet, le système indexe des milliards de vecteurs en quelques heures et gère des dizaines de pétaoctets sous une seule abstraction. Le cache distribué sur SSD NVMe délivre plus de 5 millions d'IOPS et tient plus de 20 000 requêtes de recherche vectorielle par seconde. D'après les auteurs, cela réduit les coûts de stockage cloud et permet d'expérimenter avec de grands modèles multimodaux à un coût acceptable.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…