Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarLanceDB Blog→ original

Netflix reúne vídeo e áudio em uma única tabela LanceDB: 5 milhões de operações de disco por segundo

Na Netflix, quadros, áudio e legendas ficam em sistemas diferentes, e é preciso reuni-los manualmente para treinar modelos. Agora tudo está em uma única tabela LanceDB: ao lado do vídeo ficam os metadados e os embeddings, as "impressões digitais" numéricas da cena. O cache em discos NVMe faz mais de 5 milhões de operações de leitura e escrita por segundo (IOPS) e sustenta 20 mil buscas por quadros semelhantes por segundo. A conclusão: dados multimodais é melhor manter em um só lugar do que copiá-los para cada tarefa.

Processado por IA de LanceDB Blog; editado por Hamidun News
Netflix reúne vídeo e áudio em uma única tabela LanceDB: 5 milhões de operações de disco por segundo
Fonte: LanceDB Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLanceDB Blog ↗
Editor-chefe
Dado-chave #1Bilhões de vetores são indexados em horas, e o volume chega a dezenas de petabytes
Dado-chave #2Novas features são adicionadas sem copiar petabytes de dados
Dado-chave #3Cálculos longos em GPU podem ser pausados e retomados sem refazer o processamento

Imagine que você precisa treinar um modelo com uma série da Netflix: encontrar cenas parecidas com uma cena de referência, filtrá-las pelas falas e incluir dados de serviço sobre as filmagens. Os quadros estão em um repositório, o áudio em outro, as legendas em um terceiro, e os resultados da anotação feita por modelos estão espalhados por scripts e tabelas. A Netflix contou como organizou essa bagunça: montou um "data lake de mídia" (Media Data Lake) sobre o formato Lance e o banco LanceDB.

Os principais números são estes: o cache em discos NVMe rápidos entrega mais de 5 milhões de IOPS (operações de leitura e escrita por segundo), e a busca vetorial, ou seja, a busca por quadros e trechos semelhantes a partir das "impressões digitais" numéricas de significado (embeddings), sustenta mais de 20 mil consultas por segundo. A descrição foi publicada no blog da própria LanceDB, então os números vêm do fornecedor, mas o caso é revelador para quem trabalha com vídeo, áudio e imagens.

Que problema eles resolveram

Os repositórios clássicos lidam bem com tabelas de números e texto: métricas, logs, eventos. A mídia é diferente. Uma única série gera milhões de quadros, horas de áudio multicanal, legendas e anotações. Somam-se a isso dados derivados: embeddings, rótulos gerados por modelos, resultados de análise de cenas. Tudo isso está ligado a processos criativos e ao histórico de origem dos ativos.

A equipe de Media ML Data Engineering da Netflix criou uma especialização própria para isso, na fronteira entre a engenharia de dados tradicional e o ML para mídia. O resultado se chama Media Tables. São tabelas em que ficam lado a lado os metadados canônicos, os próprios arquivos "brutos" (blobs) e as saídas dos modelos. O pesquisador trabalha com uma única fonte da verdade, em vez de reunir dados de cinco sistemas.

Como funciona

A base é o formato Lance. Ele foi projetado para acesso aleatório rápido, o que importa no treinamento, quando os dados precisam ser embaralhados e filtrados o tempo todo. A segunda característica é a adição de novas colunas sem reescrever os dados. Digamos que surja um modelo que classifica cenas por clima emocional. Os resultados dele são simplesmente acrescentados à tabela, e ninguém duplica os petabytes de vídeo.

Sobre uma mesma tabela rodam diferentes tipos de consulta: SQL, busca vetorial e busca de texto completo. Um cenário típico: encontrar quadros visualmente parecidos com um quadro dado, filtrá-los pelas falas do diálogo e juntar os metadados estruturados. Tudo isso acontece em um único sistema.

As features são calculadas por funções definidas pelo usuário (UDFs), que escalam para centenas de milhares de núcleos de CPU e slots de GPU. No exemplo do artigo, uma dessas funções pega uma coluna de texto e, com um modelo carregado, converte as frases em vetores de 384 números. Os cálculos são incrementais, com checkpoints e possibilidade de preempção: uma execução cara em GPU pode ser pausada e retomada sem refazer o trabalho.

No treinamento, os modelos leem os dados por views SQL nomeadas sobre os ativos brutos e as features, e acessam os blobs diretamente por APIs eficientes.

Os números e o que fazer com eles

Segundo o post, o sistema indexa bilhões de vetores em horas e gerencia dezenas de petabytes sob uma única abstração. O cache distribuído em SSDs NVMe entrega mais de 5 milhões de IOPS e sustenta mais de 20 mil consultas de busca vetorial por segundo. Segundo os autores, isso reduz os custos de armazenamento em nuvem e permite experimentar com grandes modelos multimodais a um custo aceitável. Entre as aplicações citadas estão remasterização HDR, métricas de qualidade de localização, compreensão de enredo e busca multimodal.

Conclusões práticas para desenvolvedores e gerentes de produto:

  • Se você trabalha com vídeo, áudio ou imagens, projete desde o início uma tabela única com blobs, metadados e embeddings, em vez de um conjunto de índices isolados.
  • Escolha um formato em que novas features sejam adicionadas sem reescrever os dados. Caso contrário, cada novo modelo vira uma cópia de terabytes.
  • Planeje pausa e retomada para tarefas caras em GPU: é economia direta de orçamento.

Limitações

A fonte é o blog de um fornecedor, não um benchmark independente. O texto não informa o custo da infraestrutura em dinheiro, o tamanho do cluster nem comparações com alternativas como Iceberg ou Delta Lake. ByteDance, Midjourney, Runway e Character AI são citadas como usuárias do LanceDB, mas sem detalhes sobre a carga de trabalho. Ainda assim, o formato da solução serve de referência: a Netflix mostra que um data lake multimodal com acesso unificado para SQL, busca vetorial e treinamento funciona em produção na escala de dezenas de petabytes. A tecnologia em si é aberta, então é possível testar a ideia com os seus próprios dados.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Que problema eles resolveram?

Os repositórios clássicos lidam bem com tabelas de números e texto: métricas, logs, eventos. A mídia é diferente. Uma única série gera milhões de quadros, horas de áudio multicanal, legendas e anotações. Somam-se a isso dados derivados: embeddings, rótulos gerados por modelos, resultados de análise de cenas. Tudo isso está ligado a processos criativos e ao histórico de origem dos ativos.

Como funciona?

A base é o formato Lance. Ele foi projetado para acesso aleatório rápido, o que importa no treinamento, quando os dados precisam ser embaralhados e filtrados o tempo todo. A segunda característica é a adição de novas colunas sem reescrever os dados. Digamos que surja um modelo que classifica cenas por clima emocional. Os resultados dele são simplesmente acrescentados à tabela, e ninguém duplica os petabytes de vídeo.

O que se sabe sobre Os números e o que fazer com eles?

Segundo o post, o sistema indexa bilhões de vetores em horas e gerencia dezenas de petabytes sob uma única abstração. O cache distribuído em SSDs NVMe entrega mais de 5 milhões de IOPS e sustenta mais de 20 mil consultas de busca vetorial por segundo. Segundo os autores, isso reduz os custos de armazenamento em nuvem e permite experimentar com grandes modelos multimodais a um custo aceitável.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…