Netflix unificó vídeo y audio en una sola tabla de LanceDB: 5 millones de IOPS
En Netflix, los fotogramas, el audio y los subtítulos están repartidos en sistemas distintos, así que para entrenar modelos hay que reunirlos a mano. Ahora todo está en una sola tabla de LanceDB: junto al vídeo se guardan metadatos y embeddings, que son «huellas» numéricas de cada escena. La caché sobre discos NVMe realiza más de 5 millones de operaciones de lectura y escritura por segundo (IOPS) y atiende 20 mil búsquedas de fotogramas similares por segundo. La conclusión: los datos multimodales conviene mantenerlos en un único lugar, en lugar de copiarlos para cada tarea.
Procesado por IA desde LanceDB Blog; editado por Hamidun News
Imagine que necesita entrenar un modelo con una serie de Netflix: encontrar escenas parecidas a una dada, filtrarlas según los diálogos y añadir los datos de rodaje. Los fotogramas están en un almacenamiento, el audio en otro, los subtítulos en un tercero, y los resultados del etiquetado con modelos se reparten entre scripts y tablas. Netflix explicó cómo puso orden en todo ello: construyó un «lago de datos multimedia» (Media Data Lake) sobre el formato Lance y la base de datos LanceDB.
Las cifras principales son estas: la caché sobre discos NVMe rápidos ofrece más de 5 millones de IOPS (operaciones de lectura y escritura por segundo), y la búsqueda vectorial, es decir, la búsqueda de fotogramas y fragmentos similares a partir de sus «huellas» numéricas de significado (embeddings), soporta más de 20 mil consultas por segundo. La descripción se publicó en el blog de la propia LanceDB, así que las cifras son del proveedor, pero el caso es representativo para cualquiera que trabaje con vídeo, audio e imágenes.
Qué problema resolvían
Los almacenes clásicos se desenvuelven bien con tablas de números y texto: métricas, registros y eventos. Los medios funcionan de otra manera. Una sola serie genera millones de fotogramas, horas de audio multicanal, subtítulos y anotaciones. A ello se suman los datos derivados: embeddings, etiquetas de modelos y resultados del análisis de escenas. Todo esto está ligado a los procesos creativos y al historial de origen de los activos.
El equipo de Media ML Data Engineering de Netflix creó para ello una especialización propia, en la intersección de la ingeniería de datos tradicional y el ML aplicado a medios. El resultado se llama Media Tables. Son tablas en las que conviven los metadatos canónicos, los archivos «crudos» (blobs) y las salidas de los modelos. El investigador trabaja con una única fuente de verdad, en lugar de reunir datos de cinco sistemas.
Cómo funciona
La base es el formato Lance, diseñado para el acceso aleatorio rápido, algo importante en el entrenamiento, cuando los datos deben mezclarse y filtrarse constantemente. La segunda propiedad es añadir nuevas columnas sin reescribir los datos. Por ejemplo, si aparece un modelo que clasifica las escenas por su tono, sus resultados simplemente se añaden a la tabla, sin duplicar los petabytes de vídeo.
Sobre una misma tabla funcionan distintos tipos de consulta: SQL, búsqueda vectorial y búsqueda de texto completo. Un escenario típico: encontrar fotogramas visualmente parecidos a uno dado, filtrarlos por los diálogos y unir los metadatos estructurados. Todo ocurre dentro de un mismo sistema.
Las características se calculan con funciones definidas por el usuario (UDF), que escalan a cientos de miles de núcleos de CPU y slots de GPU. En el ejemplo del artículo, una de estas funciones toma una columna de texto y, con un modelo cargado, convierte las oraciones en vectores de 384 números. Los cálculos son incrementales, con puntos de control y posibilidad de desalojo: un cálculo costoso en GPU puede pausarse y reanudarse sin repetir el trabajo.
Para el entrenamiento, los datos se leen mediante vistas SQL con nombre sobre los activos crudos y las características, y los blobs se consultan directamente a través de APIs eficientes.
Las cifras y qué hacer con ellas
Según el post, el sistema indexa miles de millones de vectores en horas y gestiona decenas de petabytes bajo una misma abstracción. La caché distribuida sobre SSD NVMe proporciona más de 5 millones de IOPS y soporta más de 20 mil consultas de búsqueda vectorial por segundo. Según los autores, esto reduce los costes de almacenamiento en la nube y permite experimentar con modelos multimodales de gran tamaño a un coste razonable. Entre las aplicaciones se mencionan la remasterización HDR, las métricas de calidad de la localización, la comprensión de la trama y la búsqueda multimodal.
Conclusión práctica para desarrolladores y product managers:
- Si trabaja con vídeo, audio o imágenes, diseñe desde el principio una tabla única con blobs, metadatos y embeddings, en lugar de un conjunto de índices dispersos.
- Elija un formato en el que las nuevas características se añadan sin reescribir los datos. De lo contrario, cada nuevo modelo se convierte en la copia de terabytes.
- Contemple la pausa y la reanudación en las tareas costosas en GPU: es un ahorro directo de presupuesto.
Limitaciones
La fuente es el blog del proveedor, no un benchmark independiente. El texto no indica el coste de la infraestructura en dinero, el tamaño del clúster ni la comparación con alternativas como Iceberg o Delta Lake. ByteDance, Midjourney, Runway y Character AI aparecen como usuarios de LanceDB, pero sin detalles de su carga de trabajo. Aun así, la solución sirve como referencia: Netflix demuestra que un «lago» multimodal con acceso unificado para SQL, búsqueda vectorial y entrenamiento funciona en producción a escala de decenas de petabytes. La tecnología es de código abierto, así que la idea puede probarse con datos propios.
- 21 nov 2026LanceDB levanta 57,5 millones de dólares para una base de datos de entrenamiento de modelos con vídeo e imágenes
- 21 nov 2026LanceDB lanza Realtime Engine: los datos recientes se pueden buscar en 52 ms
- 26 may 2026Agentes de IA (Claude, ChatGPT, Alexa): dónde ya funcionan
- 21 nov 2026LanceDB: el índice IVF_PQ comprime los vectores para RAG 64 veces y acelera la búsqueda
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué problema resolvían?
Los almacenes clásicos se desenvuelven bien con tablas de números y texto: métricas, registros y eventos. Los medios funcionan de otra manera. Una sola serie genera millones de fotogramas, horas de audio multicanal, subtítulos y anotaciones. A ello se suman los datos derivados: embeddings, etiquetas de modelos y resultados del análisis de escenas. Todo esto está ligado a los procesos creativos y al historial de origen de los activos.
Cómo funciona?
La base es el formato Lance, diseñado para el acceso aleatorio rápido, algo importante en el entrenamiento, cuando los datos deben mezclarse y filtrarse constantemente. La segunda propiedad es añadir nuevas columnas sin reescribir los datos. Por ejemplo, si aparece un modelo que clasifica las escenas por su tono, sus resultados simplemente se añaden a la tabla, sin duplicar los petabytes de vídeo. Sobre una misma tabla funcionan distintos tipos de consulta: SQL, búsqueda vectorial y búsqueda de texto completo.
¿Qué se sabe sobre Las cifras y qué hacer con ellas?
Según el post, el sistema indexa miles de millones de vectores en horas y gestiona decenas de petabytes bajo una misma abstracción. La caché distribuida sobre SSD NVMe proporciona más de 5 millones de IOPS y soporta más de 20 mil consultas de búsqueda vectorial por segundo. Según los autores, esto reduce los costes de almacenamiento en la nube y permite experimentar con modelos multimodales de gran tamaño a un coste razonable.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.