Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarLanceDB Blog→ original

Netflix unificó vídeo y audio en una sola tabla de LanceDB: 5 millones de IOPS

En Netflix, los fotogramas, el audio y los subtítulos están repartidos en sistemas distintos, así que para entrenar modelos hay que reunirlos a mano. Ahora todo está en una sola tabla de LanceDB: junto al vídeo se guardan metadatos y embeddings, que son «huellas» numéricas de cada escena. La caché sobre discos NVMe realiza más de 5 millones de operaciones de lectura y escritura por segundo (IOPS) y atiende 20 mil búsquedas de fotogramas similares por segundo. La conclusión: los datos multimodales conviene mantenerlos en un único lugar, en lugar de copiarlos para cada tarea.

Procesado por IA desde LanceDB Blog; editado por Hamidun News
Netflix unificó vídeo y audio en una sola tabla de LanceDB: 5 millones de IOPS
Fuente: LanceDB Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalLanceDB Blog ↗
Editor jefe
Dato clave #1Miles de millones de vectores se indexan en horas, con un volumen de decenas de petabytes
Dato clave #2Las nuevas características se añaden sin copiar petabytes de datos
Dato clave #3Los cálculos largos en GPU se pausan y se reanudan sin volver a ejecutarlos

Imagine que necesita entrenar un modelo con una serie de Netflix: encontrar escenas parecidas a una dada, filtrarlas según los diálogos y añadir los datos de rodaje. Los fotogramas están en un almacenamiento, el audio en otro, los subtítulos en un tercero, y los resultados del etiquetado con modelos se reparten entre scripts y tablas. Netflix explicó cómo puso orden en todo ello: construyó un «lago de datos multimedia» (Media Data Lake) sobre el formato Lance y la base de datos LanceDB.

Las cifras principales son estas: la caché sobre discos NVMe rápidos ofrece más de 5 millones de IOPS (operaciones de lectura y escritura por segundo), y la búsqueda vectorial, es decir, la búsqueda de fotogramas y fragmentos similares a partir de sus «huellas» numéricas de significado (embeddings), soporta más de 20 mil consultas por segundo. La descripción se publicó en el blog de la propia LanceDB, así que las cifras son del proveedor, pero el caso es representativo para cualquiera que trabaje con vídeo, audio e imágenes.

Qué problema resolvían

Los almacenes clásicos se desenvuelven bien con tablas de números y texto: métricas, registros y eventos. Los medios funcionan de otra manera. Una sola serie genera millones de fotogramas, horas de audio multicanal, subtítulos y anotaciones. A ello se suman los datos derivados: embeddings, etiquetas de modelos y resultados del análisis de escenas. Todo esto está ligado a los procesos creativos y al historial de origen de los activos.

El equipo de Media ML Data Engineering de Netflix creó para ello una especialización propia, en la intersección de la ingeniería de datos tradicional y el ML aplicado a medios. El resultado se llama Media Tables. Son tablas en las que conviven los metadatos canónicos, los archivos «crudos» (blobs) y las salidas de los modelos. El investigador trabaja con una única fuente de verdad, en lugar de reunir datos de cinco sistemas.

Cómo funciona

La base es el formato Lance, diseñado para el acceso aleatorio rápido, algo importante en el entrenamiento, cuando los datos deben mezclarse y filtrarse constantemente. La segunda propiedad es añadir nuevas columnas sin reescribir los datos. Por ejemplo, si aparece un modelo que clasifica las escenas por su tono, sus resultados simplemente se añaden a la tabla, sin duplicar los petabytes de vídeo.

Sobre una misma tabla funcionan distintos tipos de consulta: SQL, búsqueda vectorial y búsqueda de texto completo. Un escenario típico: encontrar fotogramas visualmente parecidos a uno dado, filtrarlos por los diálogos y unir los metadatos estructurados. Todo ocurre dentro de un mismo sistema.

Las características se calculan con funciones definidas por el usuario (UDF), que escalan a cientos de miles de núcleos de CPU y slots de GPU. En el ejemplo del artículo, una de estas funciones toma una columna de texto y, con un modelo cargado, convierte las oraciones en vectores de 384 números. Los cálculos son incrementales, con puntos de control y posibilidad de desalojo: un cálculo costoso en GPU puede pausarse y reanudarse sin repetir el trabajo.

Para el entrenamiento, los datos se leen mediante vistas SQL con nombre sobre los activos crudos y las características, y los blobs se consultan directamente a través de APIs eficientes.

Las cifras y qué hacer con ellas

Según el post, el sistema indexa miles de millones de vectores en horas y gestiona decenas de petabytes bajo una misma abstracción. La caché distribuida sobre SSD NVMe proporciona más de 5 millones de IOPS y soporta más de 20 mil consultas de búsqueda vectorial por segundo. Según los autores, esto reduce los costes de almacenamiento en la nube y permite experimentar con modelos multimodales de gran tamaño a un coste razonable. Entre las aplicaciones se mencionan la remasterización HDR, las métricas de calidad de la localización, la comprensión de la trama y la búsqueda multimodal.

Conclusión práctica para desarrolladores y product managers:

  • Si trabaja con vídeo, audio o imágenes, diseñe desde el principio una tabla única con blobs, metadatos y embeddings, en lugar de un conjunto de índices dispersos.
  • Elija un formato en el que las nuevas características se añadan sin reescribir los datos. De lo contrario, cada nuevo modelo se convierte en la copia de terabytes.
  • Contemple la pausa y la reanudación en las tareas costosas en GPU: es un ahorro directo de presupuesto.

Limitaciones

La fuente es el blog del proveedor, no un benchmark independiente. El texto no indica el coste de la infraestructura en dinero, el tamaño del clúster ni la comparación con alternativas como Iceberg o Delta Lake. ByteDance, Midjourney, Runway y Character AI aparecen como usuarios de LanceDB, pero sin detalles de su carga de trabajo. Aun así, la solución sirve como referencia: Netflix demuestra que un «lago» multimodal con acceso unificado para SQL, búsqueda vectorial y entrenamiento funciona en producción a escala de decenas de petabytes. La tecnología es de código abierto, así que la idea puede probarse con datos propios.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué problema resolvían?

Los almacenes clásicos se desenvuelven bien con tablas de números y texto: métricas, registros y eventos. Los medios funcionan de otra manera. Una sola serie genera millones de fotogramas, horas de audio multicanal, subtítulos y anotaciones. A ello se suman los datos derivados: embeddings, etiquetas de modelos y resultados del análisis de escenas. Todo esto está ligado a los procesos creativos y al historial de origen de los activos.

Cómo funciona?

La base es el formato Lance, diseñado para el acceso aleatorio rápido, algo importante en el entrenamiento, cuando los datos deben mezclarse y filtrarse constantemente. La segunda propiedad es añadir nuevas columnas sin reescribir los datos. Por ejemplo, si aparece un modelo que clasifica las escenas por su tono, sus resultados simplemente se añaden a la tabla, sin duplicar los petabytes de vídeo. Sobre una misma tabla funcionan distintos tipos de consulta: SQL, búsqueda vectorial y búsqueda de texto completo.

¿Qué se sabe sobre Las cifras y qué hacer con ellas?

Según el post, el sistema indexa miles de millones de vectores en horas y gestiona decenas de petabytes bajo una misma abstracción. La caché distribuida sobre SSD NVMe proporciona más de 5 millones de IOPS y soporta más de 20 mil consultas de búsqueda vectorial por segundo. Según los autores, esto reduce los costes de almacenamiento en la nube y permite experimentar con modelos multimodales de gran tamaño a un coste razonable.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…