Netflix réunit vidéo et audio dans une seule table LanceDB : 5 millions d'opérations disque par seconde
Chez Netflix, les images, le son et les sous-titres vivaient dans des systèmes distincts, et il fallait les assembler à la main pour entraîner les modèles. Tout tient désormais dans une seule table LanceDB : à côté de la vidéo, on trouve les métadonnées et les embeddings, des « empreintes » numériques de la scène. Le cache sur disques NVMe dépasse 5 millions d'opérations de lecture-écriture par seconde (IOPS) et absorbe 20 000 recherches d'images similaires par seconde. La leçon : mieux vaut conserver les données multimodales au même endroit que les copier pour chaque usage.
Traité par IA depuis LanceDB Blog ; édité par Hamidun News
Imaginez que vous deviez entraîner un modèle sur une série Netflix : retrouver les scènes proches d'une scène donnée, les filtrer selon les répliques et y ajouter des données techniques de tournage. Les images sont stockées dans un système, le son dans un autre, les sous-titres dans un troisième, et les résultats d'annotation des modèles sont éparpillés entre scripts et tables. Netflix explique comment il a remis de l'ordre dans tout cela : l'entreprise a construit un « lac de données média » (Media Data Lake) sur le format Lance et la base LanceDB.
Les chiffres clés : un cache sur disques NVMe rapides délivre plus de 5 millions d'IOPS (opérations de lecture-écriture par seconde), et la recherche vectorielle, c'est-à-dire la recherche d'images et d'extraits similaires à partir de leurs « empreintes » numériques de sens (les embeddings), tient plus de 20 000 requêtes par seconde. La description a été publiée sur le blog de LanceDB lui-même : les chiffres sont donc ceux d'un éditeur, mais le cas est instructif pour quiconque travaille avec de la vidéo, de l'audio et des images.
Le problème à résoudre
Les entrepôts de données classiques gèrent bien les tables de chiffres et de texte : métriques, logs, événements. Le média fonctionne autrement. Une seule série produit des millions d'images, des heures d'audio multicanal, des sous-titres et des annotations. S'y ajoutent des données dérivées : embeddings, étiquettes générées par des modèles, résultats d'analyse de scènes. Tout cela est lié aux processus créatifs et à l'historique de provenance des assets.
L'équipe Media ML Data Engineering de Netflix a créé pour cela une spécialité à part, à la jonction de l'ingénierie des données classique et du ML appliqué au média. Le résultat s'appelle Media Tables. Ce sont des tables qui regroupent côte à côte les métadonnées canoniques, les fichiers « bruts » eux-mêmes (blobs) et les sorties des modèles. Le chercheur travaille avec une source de vérité unique, au lieu de compiler des données issues de cinq systèmes.
Comment ça fonctionne
Le socle est le format Lance. Il est conçu pour un accès aléatoire rapide, ce qui compte à l'entraînement, quand il faut sans cesse mélanger et filtrer les données. Seconde propriété : l'ajout de nouvelles colonnes sans réécrire les données. Si un modèle apparaît pour étiqueter les scènes selon leur ambiance, ses résultats sont simplement ajoutés à la table, et personne ne duplique les pétaoctets de vidéo.
Au-dessus d'une même table, plusieurs types de requêtes cohabitent : SQL, recherche vectorielle et recherche plein texte. Scénario typique : trouver les images visuellement proches d'une image donnée, les filtrer selon les répliques du dialogue et y joindre des métadonnées structurées. Le tout se passe dans un seul système.
Les caractéristiques sont calculées au moyen de fonctions utilisateur (UDF) qui passent à l'échelle sur des centaines de milliers de cœurs CPU et de slots GPU. Dans l'exemple de l'article, une telle fonction prend une colonne de texte et, grâce à un modèle chargé en mémoire, transforme les phrases en vecteurs de 384 nombres. Les calculs sont incrémentaux, avec points de contrôle et possibilité de préemption : un traitement GPU coûteux peut être suspendu puis repris sans refaire le travail.
Pour l'entraînement, les modèles lisent les données via des vues SQL nommées placées au-dessus des assets bruts et des caractéristiques, et accèdent aux blobs directement par des API efficaces.
Les chiffres et ce qu'on peut en faire
Selon le billet, le système indexe des milliards de vecteurs en quelques heures et gère des dizaines de pétaoctets sous une seule abstraction. Le cache distribué sur SSD NVMe délivre plus de 5 millions d'IOPS et tient plus de 20 000 requêtes de recherche vectorielle par seconde. D'après les auteurs, cela réduit les coûts de stockage cloud et permet d'expérimenter avec de grands modèles multimodaux à un coût acceptable. Parmi les usages cités : le remastering HDR, les métriques de qualité de la localisation, la compréhension de l'intrigue et la recherche multimodale.
Ce qu'il faut en retenir pour les développeurs et les product managers :
- Si vous manipulez de la vidéo, de l'audio ou des images, concevez dès le départ une table unique réunissant blobs, métadonnées et embeddings, plutôt qu'un ensemble d'index disparates.
- Choisissez un format où les nouvelles caractéristiques s'ajoutent sans réécriture des données. Sinon, chaque nouveau modèle revient à copier des téraoctets.
- Prévoyez pause et reprise pour les tâches GPU coûteuses : c'est une économie directe de budget.
Limites
La source est le blog d'un fournisseur, pas un benchmark indépendant. Le coût financier de l'infrastructure, la taille du cluster et la comparaison avec des alternatives comme Iceberg ou Delta Lake ne figurent pas dans le texte. ByteDance, Midjourney, Runway et Character AI sont cités comme utilisateurs de LanceDB, mais sans détail sur leur charge. Le modèle de solution reste néanmoins un repère utile : Netflix montre qu'un « lac » multimodal offrant un accès unifié au SQL, à la recherche vectorielle et à l'entraînement fonctionne en production à l'échelle de dizaines de pétaoctets. La technologie elle-même est ouverte, et l'idée peut donc être testée sur vos propres données.
- 21 nov. 2026LanceDB lève 57,5 M$ pour sa base de données d'entraînement de modèles sur vidéos et images
- 21 nov. 2026LanceDB lance Realtime Engine : les données fraîches deviennent interrogeables en 52 ms
- 26 mai 2026Agents IA (Claude, ChatGPT, Alexa) : où ils fonctionnent déjà
- 21 nov. 2026LanceDB : l'index IVF_PQ compresse les vecteurs pour le RAG par 64 et accélère la recherche
Questions clés sur cet article
Que sait-on sur Le problème à résoudre ?
Les entrepôts de données classiques gèrent bien les tables de chiffres et de texte : métriques, logs, événements. Le média fonctionne autrement. Une seule série produit des millions d'images, des heures d'audio multicanal, des sous-titres et des annotations. S'y ajoutent des données dérivées : embeddings, étiquettes générées par des modèles, résultats d'analyse de scènes. Tout cela est lié aux processus créatifs et à l'historique de provenance des assets.
Comment ça fonctionne?
Le socle est le format Lance. Il est conçu pour un accès aléatoire rapide, ce qui compte à l'entraînement, quand il faut sans cesse mélanger et filtrer les données. Seconde propriété : l'ajout de nouvelles colonnes sans réécrire les données. Si un modèle apparaît pour étiqueter les scènes selon leur ambiance, ses résultats sont simplement ajoutés à la table, et personne ne duplique les pétaoctets de vidéo.
Que sait-on sur Les chiffres et ce qu'on peut en faire ?
Selon le billet, le système indexe des milliards de vecteurs en quelques heures et gère des dizaines de pétaoctets sous une seule abstraction. Le cache distribué sur SSD NVMe délivre plus de 5 millions d'IOPS et tient plus de 20 000 requêtes de recherche vectorielle par seconde. D'après les auteurs, cela réduit les coûts de stockage cloud et permet d'expérimenter avec de grands modèles multimodaux à un coût acceptable.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.