Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarLanceDB Blog→ original

LanceDB lança o Realtime Engine: dados novos ficam disponíveis para busca em 52 ms

Nos data lakes tradicionais, a gravação espera um commit em lote, e por isso um quadro salvo um segundo atrás não aparece na busca. A LanceDB adicionou à versão Enterprise o Realtime Engine: a linha é confirmada depois de salva no armazenamento S3 e pode ser lida, em média, após 52 ms. A busca em linhas recentes leva de 15 a 28 ms para texto e de 26 a 30 ms para vetores. Em datasets vivos de robótica e RL, dá para dispensar um serviço de busca separado.

Processado por IA de LanceDB Blog; editado por Hamidun News
LanceDB lança o Realtime Engine: dados novos ficam disponíveis para busca em 52 ms
Fonte: LanceDB Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLanceDB Blog ↗
Editor-chefe
Dado-chave #1A taxa de escrita sobe de 79–83 MB/s em um shard para 312–334 MB/s em quatro
Dado-chave #2O formato MemWAL, baseado em árvore LSM, é aberto e faz parte da especificação do Lance
Dado-chave #3No LAION, todos os índices juntos entregam 289 MB/s, contra 314 MB/s com um único índice

Imagine um engenheiro analisando uma falha de captura de um braço robótico. O quadro foi salvo um segundo atrás, mas ainda não está na tabela: o sistema espera acumular um lote de dados e concluir o commit, ou seja, a publicação de uma nova versão da tabela. O mesmo problema atinge o pesquisador que treina um modelo com aprendizado por reforço (RL) e quer ver uma execução que terminou há instantes.

A LanceDB lançou, para a versão paga LanceDB Enterprise, o Realtime Engine, um mecanismo que elimina essa espera. Segundo as medições da empresa, o tempo mediano entre o momento em que a gravação está segura no armazenamento em nuvem S3 e o momento em que a linha pode ser lida é de 52 milissegundos.

Qual é o problema dos data lakes em lote

Os sistemas lakehouse modernos (data lakes em que as tabelas ficam como arquivos em armazenamento de objetos, como o S3) foram construídos em torno de grandes commits em lote. Os dados são coletados, gravados em arquivos colunares e só então se publica uma nova versão da tabela. Armazenar e varrer grandes volumes assim é barato, mas, para dados em fluxo, surge uma escolha incômoda. Se o commit é frequente, acumulam-se arquivos pequenos e atualizações de metadados. Se se espera por um lote grande, os leitores esperam junto com os escritores.

Em tarefas de IA, isso fica ainda mais evidente. Frotas de robôs geram imagens e leituras de sensores continuamente, e pipelines de rotulagem adicionam rótulos e embeddings. Um rótulo corrigido precisa influenciar imediatamente o próximo filtro, e um embedding recalculado precisa entrar na próxima busca vetorial. No treinamento com RL, os workers gravam trajetórias, os graders adicionam recompensas e o processo de treino busca os exemplos prontos. Tudo isso acontece em paralelo e sem pausas.

A solução usual é colocar na frente do lake um buffer de escrita ou um serviço de busca separado. A LanceDB aponta os pontos fracos dessa abordagem: a ingestão muitas vezes aceita apenas a adição de linhas, os índices vetoriais e de texto completo recebem pouco suporte, e os próprios dados ficam presos ao fornecedor. Enquanto estão em um buffer fechado, outros mecanismos não conseguem lê-los por um formato de tabela aberto. Além disso, a durabilidade costuma depender da replicação no próprio buffer, e não do armazenamento de objetos.

Como o Realtime Engine funciona

A base é o formato MemWAL, parte do formato de tabela Lance. Ele adiciona ao Lance uma árvore LSM (estrutura que primeiro recebe as gravações rapidamente em memória e em um log, e depois as funde ao armazenamento principal) sobre o armazenamento de objetos. Uma nova gravação chega a um nó do mecanismo. O nó a salva em um write-ahead log (log de escrita antecipada) no armazenamento de objetos e a adiciona a um buffer indexado em memória, o MemTable. A resposta de sucesso só é enviada depois que os dados estão gravados com segurança, e por isso as gravações confirmadas não se perdem se um nó cair.

Os MemTables cheios são descarregados em arquivos Lance indexados (SSTables) e, em segundo plano, fundidos à tabela principal. Cada shard, isto é, cada parte separada da tabela, grava de forma independente. Por isso não há um commit global da tabela para cada gravação, e a ingestão escala com a adição de shards e nós. As consultas olham ao mesmo tempo o MemTable, os SSTables e a tabela base, de modo que dados novos e antigos são pesquisados em uma única consulta. Enquanto os índices da tabela base alcançam as mudanças, as consultas usam os índices dos SSTables, e as linhas novas não somem dos resultados.

A compactação (fusão de arquivos pequenos), a atualização de índices e a coleta de lixo rodam em workers separados e escalam de forma independente da ingestão e das consultas. Se a tabela recebe uma carga pesada e constante, basta adicionar workers de manutenção.

O que as medições mostraram

Os números foram obtidos pela própria LanceDB no Amazon EKS, com os conjuntos públicos FineWeb-Edu (textos da web), MS MARCO (trechos de busca) e LAION (pares imagem-texto). Não se trata de uma verificação independente. Uma gravação só era contabilizada depois de salva no S3, e em cada execução se verificava que a tabela continha exatamente as linhas confirmadas. Cada nó tinha 30 vCPU e 112 GiB de memória.

  • Tempo mediano entre a gravação segura no S3 e a linha legível: 52 ms.
  • A escrita com índice vivo na chave primária subiu de 79–83 MB/s em um shard para 312–334 MB/s em quatro shards de um único nó.
  • Latência mediana das consultas a linhas recentes durante a ingestão: 15–28 ms para busca de texto completo e 26–30 ms para busca vetorial.
  • Gravar em uma tabela que já continha todo o corpus FineWeb-Edu ou MS MARCO não foi mais lento do que gravar em uma pequena. Os dados antigos continuam pesquisáveis enquanto os novos chegam.

O índice vivo consome tempo de processador, e o custo depende dos dados. No LAION, o grosso de cada linha é a imagem, então manter todos os índices quase não atrapalha: 289 MB/s, contra 314 MB/s com um único índice na chave primária. Documentos de texto longos exigem mais trabalho do índice de texto completo para cada byte gravado. Por isso, em cada tabela é possível escolher quais índices manter vivos e encontrar o equilíbrio entre velocidade de escrita e velocidade de consulta aos dados novos. O mecanismo também pode gravar as imagens direto no armazenamento de objetos, mantendo em memória apenas a referência, para reduzir o consumo de memória do nó.

O que isso significa para quem trabalha na prática

Se você monta datasets a partir de fluxos de dados de robótica ou executa pipelines de RL, o Realtime Engine elimina uma camada extra: o serviço de busca separado e a sincronização com ele. Os limites também são claros. É um recurso da versão paga Enterprise, os melhores resultados foram mostrados em uma configuração com vários shards, e manter uma alta taxa de escrita por horas depende de os workers de manutenção darem conta do recado.

O próprio formato MemWAL é aberto e descrito na especificação do Lance, de modo que leitores e escritores compatíveis podem trabalhar com os mesmos dados. Antes de migrar, teste com a sua própria carga: em textos longos, o custo dos índices vivos será maior do que em imagens.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Qual é o problema dos data lakes em lote?

Os sistemas lakehouse modernos (data lakes em que as tabelas ficam como arquivos em armazenamento de objetos, como o S3) foram construídos em torno de grandes commits em lote. Os dados são coletados, gravados em arquivos colunares e só então se publica uma nova versão da tabela. Armazenar e varrer grandes volumes assim é barato, mas, para dados em fluxo, surge uma escolha incômoda. Se o commit é frequente, acumulam-se arquivos pequenos e atualizações de metadados.

Como o Realtime Engine funciona?

A base é o formato MemWAL, parte do formato de tabela Lance. Ele adiciona ao Lance uma árvore LSM (estrutura que primeiro recebe as gravações rapidamente em memória e em um log, e depois as funde ao armazenamento principal) sobre o armazenamento de objetos. Uma nova gravação chega a um nó do mecanismo. O nó a salva em um write-ahead log (log de escrita antecipada) no armazenamento de objetos e a adiciona a um buffer indexado em memória, o MemTable.

O que as medições mostraram?

Os números foram obtidos pela própria LanceDB no Amazon EKS, com os conjuntos públicos FineWeb-Edu (textos da web), MS MARCO (trechos de busca) e LAION (pares imagem-texto). Não se trata de uma verificação independente. Uma gravação só era contabilizada depois de salva no S3, e em cada execução se verificava que a tabela continha exatamente as linhas confirmadas. Cada nó tinha 30 vCPU e 112 GiB de memória. Tempo mediano entre a gravação segura no S3 e a linha legível: 52 ms.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…