Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarLanceDB Blog→ original

Uber e LanceDB ensinaram o formato Lance a dividir um dataset entre buckets: 5 caminhos em vez de 10 milhões

Quando milhares de leitores puxam dados de treinamento de um modelo ao mesmo tempo, um único bucket S3 (armazenamento em nuvem) vira gargalo. A Uber pediu à LanceDB que espalhasse o dataset por vários buckets sem perder a portabilidade. No manifesto do Lance, agora existe uma lista curta de "bases", ou seja, prefixos de caminho compartilhados, e cada arquivo guarda apenas o número da base e um caminho relativo. Assim, um dataset de 10 milhões de arquivos distribuído em 5 buckets é migrado trocando 5 linhas, e não 10 milhões.

Processado por IA de LanceDB Blog; editado por Hamidun News
Uber e LanceDB ensinaram o formato Lance a dividir um dataset entre buckets: 5 caminhos em vez de 10 milhões
Fonte: LanceDB Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalLanceDB Blog ↗
Editor-chefe
Dado-chave #1A escrita rotaciona entre os buckets, e a leitura acontece em paralelo em todos eles
Dado-chave #2A coleta de lixo e a emissão de acessos percorrem as bases, não os arquivos
Dado-chave #3Uma base pode ser marcada como raiz do dataset (para clones) ou como pasta com arquivos

Imagine que você precise migrar de um serviço de armazenamento em nuvem para outro, e os metadados da tabela registram os endereços completos de dez milhões de arquivos. Cada endereço teria de ser reescrito. Foi exatamente essa dor que a LanceDB resolveu em parceria com a infraestrutura de IA da Uber. O objetivo era distribuir um mesmo dataset entre vários buckets S3 (bucket é o "balde" raiz no armazenamento em nuvem), para que os dados fossem lidos mais rápido no treinamento de modelos, sem perder a possibilidade de transferir o dataset quase sem custo.

Problema: um bucket não aguenta milhares de leitores

Os dados multimodais da Uber usados para treinar modelos e para busca agêntica ficam em datasets de escala petabyte. Milhares de leitores acessam esses dados ao mesmo tempo, e um único bucket rapidamente vira gargalo. Por isso, os engenheiros queriam dividir um dataset em N buckets. Novos arquivos são gravados em rodízio entre os buckets, e a leitura acontece em paralelo em todos eles. A meta é aumentar o throughput total em cerca de N vezes.

O problema está nos caminhos. Se todos forem relativos, não é possível referenciar um arquivo fora da pasta do dataset. Se forem absolutos, qualquer migração exige reescrever os metadados por inteiro. A Uber precisava das duas coisas: vários locais de armazenamento e máxima portabilidade.

Lição do Iceberg e do Delta: os híbridos ficam incômodos

O autor do post trabalhou no Apache Iceberg, no Delta Lake e agora no Lance. Ele lembra que os dois formatos percorreram caminhos opostos.

O Iceberg começou com caminhos absolutos. Eles são inequívocos, mas, na migração, é preciso reescrever metadados com milhares ou milhões de caminhos. A discussão sobre caminhos relativos começou em 2021, e no fim de 2025 a comunidade chegou a um design para a versão 4: caminhos sem esquema URI são considerados relativos à localização da tabela.

Já o Delta Lake, em setembro de 2019, começou com caminhos relativos e, em agosto de 2021, passou a permitir caminhos absolutos. Isso foi necessário para o shallow clone (surgiu em dezembro de 2022): a nova tabela referencia os arquivos da antiga sem copiá-los, e esses arquivos ficam fora da raiz da nova tabela.

No fim, os dois formatos viraram híbridos, e o autor vê três desvantagens nisso:

  • a flexibilidade dos caminhos absolutos quase não é usada, pois os arquivos normalmente ficam sob a raiz da tabela;
  • a coleta de lixo fica complicada, porque não é seguro apagar um diretório se arquivos dele são referenciados de outro lugar;
  • emitir credenciais temporárias é difícil, já que é preciso encontrar todos os prefixos entre centenas de milhões de registros nos manifestos.

A promessa de "zero reescritas" só vale para tabelas novas, em um único local, com caminhos puramente relativos. Clones, importação de arquivos, armazenamento em múltiplas camadas e distribuição por buckets quebram essa promessa.

Como o multi-base funciona no Lance

No Lance, todos os caminhos são relativos, e a estrutura de diretórios é definida pela especificação: arquivos de dados .lance, manifestos .manifest, transações *.txn, vetores de exclusão e índices. Copie o dataset de um disco local para s3://bucket/dataset, e ele funciona imediatamente, sem editar metadados.

A nova ideia parte de uma observação: mesmo que uma tabela referencie milhões de arquivos, ela tem poucos prefixos comuns distintos. Esses prefixos foram chamados de "bases" e passaram a ser guardados no manifesto como um array separado. Agora, cada arquivo guarda uma referência à base mais um caminho relativo. Daí decorrem vantagens práticas:

  • estrutura explícita: não é preciso varrer milhões de caminhos para descobrir onde estão os dados;
  • transferência barata: um dataset de 10 milhões de arquivos em 5 buckets exige trocar 5 linhas, e não 10 milhões;
  • migração flexível: é possível transferir apenas as bases escolhidas e deixar as demais onde estão;
  • manutenção simples: a coleta de lixo e a emissão de credenciais percorrem a lista de bases, não a lista de arquivos.

Na especificação, cada base tem uma marcação que determina como o caminho é resolvido. Se a base for a raiz do dataset, valem os subdiretórios padrão dentro dela, o que permite referenciar datasets inteiros, por exemplo para o shallow clone. Se não for, a base aponta diretamente para uma pasta com arquivos, sem subdiretórios, e isso serve para a distribuição entre buckets, como no caso da Uber.

O que é importante lembrar

Esse é o relato do desenvolvedor do Lance sobre a própria solução, e não uma comparação independente entre formatos. Na parte disponível do post não há medições reais de ganho de throughput da Uber, apenas a meta de "cerca de N vezes". O final da publicação no original está cortado, por isso os detalhes da escrita e da relação entre multi-base e clones não são abordados aqui.

A conclusão prática para quem constrói datasets voltados a treinamento e busca agêntica é esta: se os dados precisarem ser divididos entre buckets e regiões, escolha um formato que armazene os prefixos de forma explícita. Assim, migração e coleta de lixo trabalham com uma tabela curta de bases, e não com milhões de linhas.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Problema: um bucket não aguenta milhares de leitores?

Os dados multimodais da Uber usados para treinar modelos e para busca agêntica ficam em datasets de escala petabyte. Milhares de leitores acessam esses dados ao mesmo tempo, e um único bucket rapidamente vira gargalo. Por isso, os engenheiros queriam dividir um dataset em N buckets. Novos arquivos são gravados em rodízio entre os buckets, e a leitura acontece em paralelo em todos eles. A meta é aumentar o throughput total em cerca de N vezes. O problema está nos caminhos.

O que se sabe sobre Lição do Iceberg e do Delta: os híbridos ficam incômodos?

O autor do post trabalhou no Apache Iceberg, no Delta Lake e agora no Lance. Ele lembra que os dois formatos percorreram caminhos opostos. O Iceberg começou com caminhos absolutos. Eles são inequívocos, mas, na migração, é preciso reescrever metadados com milhares ou milhões de caminhos. A discussão sobre caminhos relativos começou em 2021, e no fim de 2025 a comunidade chegou a um design para a versão 4: caminhos sem esquema URI são considerados relativos à localização da tabela.

Como o multi-base funciona no Lance?

No Lance, todos os caminhos são relativos, e a estrutura de diretórios é definida pela especificação: arquivos de dados .lance, manifestos .manifest, transações .txn, vetores de exclusão e índices. Copie o dataset de um disco local para s3://bucket/dataset, e ele funciona imediatamente, sem editar metadados. A nova ideia parte de uma observação: mesmo que uma tabela referencie milhões de arquivos, ela tem poucos prefixos comuns distintos.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…