Uber e LanceDB ensinaram o formato Lance a dividir um dataset entre buckets: 5 caminhos em vez de 10 milhões
Quando milhares de leitores puxam dados de treinamento de um modelo ao mesmo tempo, um único bucket S3 (armazenamento em nuvem) vira gargalo. A Uber pediu à LanceDB que espalhasse o dataset por vários buckets sem perder a portabilidade. No manifesto do Lance, agora existe uma lista curta de "bases", ou seja, prefixos de caminho compartilhados, e cada arquivo guarda apenas o número da base e um caminho relativo. Assim, um dataset de 10 milhões de arquivos distribuído em 5 buckets é migrado trocando 5 linhas, e não 10 milhões.
Processado por IA de LanceDB Blog; editado por Hamidun News
Imagine que você precise migrar de um serviço de armazenamento em nuvem para outro, e os metadados da tabela registram os endereços completos de dez milhões de arquivos. Cada endereço teria de ser reescrito. Foi exatamente essa dor que a LanceDB resolveu em parceria com a infraestrutura de IA da Uber. O objetivo era distribuir um mesmo dataset entre vários buckets S3 (bucket é o "balde" raiz no armazenamento em nuvem), para que os dados fossem lidos mais rápido no treinamento de modelos, sem perder a possibilidade de transferir o dataset quase sem custo.
Problema: um bucket não aguenta milhares de leitores
Os dados multimodais da Uber usados para treinar modelos e para busca agêntica ficam em datasets de escala petabyte. Milhares de leitores acessam esses dados ao mesmo tempo, e um único bucket rapidamente vira gargalo. Por isso, os engenheiros queriam dividir um dataset em N buckets. Novos arquivos são gravados em rodízio entre os buckets, e a leitura acontece em paralelo em todos eles. A meta é aumentar o throughput total em cerca de N vezes.
O problema está nos caminhos. Se todos forem relativos, não é possível referenciar um arquivo fora da pasta do dataset. Se forem absolutos, qualquer migração exige reescrever os metadados por inteiro. A Uber precisava das duas coisas: vários locais de armazenamento e máxima portabilidade.
Lição do Iceberg e do Delta: os híbridos ficam incômodos
O autor do post trabalhou no Apache Iceberg, no Delta Lake e agora no Lance. Ele lembra que os dois formatos percorreram caminhos opostos.
O Iceberg começou com caminhos absolutos. Eles são inequívocos, mas, na migração, é preciso reescrever metadados com milhares ou milhões de caminhos. A discussão sobre caminhos relativos começou em 2021, e no fim de 2025 a comunidade chegou a um design para a versão 4: caminhos sem esquema URI são considerados relativos à localização da tabela.
Já o Delta Lake, em setembro de 2019, começou com caminhos relativos e, em agosto de 2021, passou a permitir caminhos absolutos. Isso foi necessário para o shallow clone (surgiu em dezembro de 2022): a nova tabela referencia os arquivos da antiga sem copiá-los, e esses arquivos ficam fora da raiz da nova tabela.
No fim, os dois formatos viraram híbridos, e o autor vê três desvantagens nisso:
- a flexibilidade dos caminhos absolutos quase não é usada, pois os arquivos normalmente ficam sob a raiz da tabela;
- a coleta de lixo fica complicada, porque não é seguro apagar um diretório se arquivos dele são referenciados de outro lugar;
- emitir credenciais temporárias é difícil, já que é preciso encontrar todos os prefixos entre centenas de milhões de registros nos manifestos.
A promessa de "zero reescritas" só vale para tabelas novas, em um único local, com caminhos puramente relativos. Clones, importação de arquivos, armazenamento em múltiplas camadas e distribuição por buckets quebram essa promessa.
Como o multi-base funciona no Lance
No Lance, todos os caminhos são relativos, e a estrutura de diretórios é definida pela especificação: arquivos de dados .lance, manifestos .manifest, transações *.txn, vetores de exclusão e índices. Copie o dataset de um disco local para s3://bucket/dataset, e ele funciona imediatamente, sem editar metadados.
A nova ideia parte de uma observação: mesmo que uma tabela referencie milhões de arquivos, ela tem poucos prefixos comuns distintos. Esses prefixos foram chamados de "bases" e passaram a ser guardados no manifesto como um array separado. Agora, cada arquivo guarda uma referência à base mais um caminho relativo. Daí decorrem vantagens práticas:
- estrutura explícita: não é preciso varrer milhões de caminhos para descobrir onde estão os dados;
- transferência barata: um dataset de 10 milhões de arquivos em 5 buckets exige trocar 5 linhas, e não 10 milhões;
- migração flexível: é possível transferir apenas as bases escolhidas e deixar as demais onde estão;
- manutenção simples: a coleta de lixo e a emissão de credenciais percorrem a lista de bases, não a lista de arquivos.
Na especificação, cada base tem uma marcação que determina como o caminho é resolvido. Se a base for a raiz do dataset, valem os subdiretórios padrão dentro dela, o que permite referenciar datasets inteiros, por exemplo para o shallow clone. Se não for, a base aponta diretamente para uma pasta com arquivos, sem subdiretórios, e isso serve para a distribuição entre buckets, como no caso da Uber.
O que é importante lembrar
Esse é o relato do desenvolvedor do Lance sobre a própria solução, e não uma comparação independente entre formatos. Na parte disponível do post não há medições reais de ganho de throughput da Uber, apenas a meta de "cerca de N vezes". O final da publicação no original está cortado, por isso os detalhes da escrita e da relação entre multi-base e clones não são abordados aqui.
A conclusão prática para quem constrói datasets voltados a treinamento e busca agêntica é esta: se os dados precisarem ser divididos entre buckets e regiões, escolha um formato que armazene os prefixos de forma explícita. Assim, migração e coleta de lixo trabalham com uma tabela curta de bases, e não com milhões de linhas.
- 21 de nov. de 2026O Lance ganhou branches de datasets, como no Git: experimentos não atrapalham a produção
- 21 de nov. de 2026LanceDB lança o Realtime Engine: dados novos ficam disponíveis para busca em 52 ms
- 21 de nov. de 2026LanceDB capta US$ 57,5 milhões para banco de dados de treinamento de modelos com vídeo e imagens
- 21 de nov. de 2026Netflix reúne vídeo e áudio em uma única tabela LanceDB: 5 milhões de operações de disco por segundo
Perguntas frequentes sobre a notícia
O que se sabe sobre Problema: um bucket não aguenta milhares de leitores?
Os dados multimodais da Uber usados para treinar modelos e para busca agêntica ficam em datasets de escala petabyte. Milhares de leitores acessam esses dados ao mesmo tempo, e um único bucket rapidamente vira gargalo. Por isso, os engenheiros queriam dividir um dataset em N buckets. Novos arquivos são gravados em rodízio entre os buckets, e a leitura acontece em paralelo em todos eles. A meta é aumentar o throughput total em cerca de N vezes. O problema está nos caminhos.
O que se sabe sobre Lição do Iceberg e do Delta: os híbridos ficam incômodos?
O autor do post trabalhou no Apache Iceberg, no Delta Lake e agora no Lance. Ele lembra que os dois formatos percorreram caminhos opostos. O Iceberg começou com caminhos absolutos. Eles são inequívocos, mas, na migração, é preciso reescrever metadados com milhares ou milhões de caminhos. A discussão sobre caminhos relativos começou em 2021, e no fim de 2025 a comunidade chegou a um design para a versão 4: caminhos sem esquema URI são considerados relativos à localização da tabela.
Como o multi-base funciona no Lance?
No Lance, todos os caminhos são relativos, e a estrutura de diretórios é definida pela especificação: arquivos de dados .lance, manifestos .manifest, transações .txn, vetores de exclusão e índices. Copie o dataset de um disco local para s3://bucket/dataset, e ele funciona imediatamente, sem editar metadados. A nova ideia parte de uma observação: mesmo que uma tabela referencie milhões de arquivos, ela tem poucos prefixos comuns distintos.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.