O Lance ganhou branches de datasets, como no Git: experimentos não atrapalham a produção
Experimentar em um dataset de produção dá medo: é possível estragar algo ou deixar as consultas de trabalho mais lentas. No Lance, cada branch tem sua própria pasta: os arquivos novos são gravados ali, e os dados antigos são acessados a partir do dataset principal por referência, sem cópia. Gravar em uma branch não conflita com a produção, e as permissões podem ser separadas, deixando o dataset principal somente leitura. Para as equipes de ML, isso significa experimentar com dados reais sem criar cópias desnecessárias. As tags são rótulos imutáveis de versão, que não são apagados nem pelo rollback nem pela coleta de lixo. Cada branch mantém seu próprio histórico de versões, por isso o time travel funciona dentro dela. A ideia foi pedida pela ByteDance e pela Netflix para seus experimentos com IA.
Processado por IA de LanceDB Blog; editado por Hamidun News
Qualquer pessoa que já preparou dados para treinar um modelo conhece este dilema. O dataset está vivo, a produção roda sobre ele, e você precisa testar uma nova rotulagem, outro conjunto de features ou uma augmentation. Copiar terabytes é incômodo e caro. Experimentar diretamente na tabela de produção é arriscado. O autor do Lance e um dos criadores do recurso de branching no Apache Iceberg propôs, no blog da LanceDB, uma forma de eliminar esse dilema: branches, tags e "clonagem leve" em um só modelo.
O que não funcionou nos branches do Iceberg e nos clones do Delta
No Iceberg, onde o autor criou branches e tags ainda em 2021, tudo funciona quase como no Git: o arquivo de metadados da tabela guarda uma lista de referências nomeadas para snapshots. As tags protegem as versões necessárias contra a limpeza, e os branches permitem acumular mudanças e verificá-las antes da publicação. Para auditoria e para o fluxo "gravar, verificar, publicar", isso funciona bem. Para experimentos de ML, porém, o resultado foi pior, por três motivos.
O primeiro é o desempenho. Qualquer operação em qualquer branch atualiza o arquivo de metadados compartilhado, então gravações frequentes em um branch experimental entram em conflito com os commits de produção e invalidam os caches de leitura. O segundo é o isolamento fraco: os arquivos dos branches ficam na mesma pasta e sob as mesmas permissões de acesso, então não é possível liberar a produção apenas para leitura e o branch apenas para escrita. O terceiro é a contabilidade: na auditoria, não se distinguem as consultas ao branch e as consultas à produção, e o espaço usado pelos experimentos é debitado do orçamento da tabela principal.
No Delta Lake, desde o fim de 2022, existe o shallow clone: cria-se uma tabela separada que referencia os arquivos da original por caminhos absolutos. Ela tem permissões, cotas e auditoria próprias, e os dados novos são gravados em sua pasta exclusiva. O autor admite que, por alguns anos, considerou esse o melhor modelo.
Como funciona no Lance
A visão mudou quando a ByteDance e a Netflix pediram, de forma independente, branches no Lance para experimentos de IA. Os argumentos deles são estes. Um branch sempre está ligado à tabela pai, então a origem do experimento fica visível sem um sistema separado de lineage. Todos os dados permanecem dentro de um único dataset, e a limpeza segue as regras de tempo de vida de branches e tags, de modo que um clone não pode ser esquecido por acidente, o que é importante, por exemplo, para a LGPD e a GDPR. Por fim, o fluxo "criei um branch, experimentei, fiz merge ou descartei" é compreensível para qualquer desenvolvedor.
A base é o multi-base, um esquema em que o manifesto do dataset lista vários caminhos base, e cada arquivo indica de qual base deve ser lido. Dele saem três elementos:
- Shallow clone. Um novo dataset independente, com localização e histórico de versões próprios. Os fragmentos herdados são lidos da origem por meio de um único caminho base, e não por um caminho absoluto para cada arquivo, como no Delta. Os dados não são copiados; são criados apenas os metadados.
- Tags. Ponteiros nomeados e imutáveis para versões, armazenados em arquivos separados. No Iceberg, as tags ficam nos metadados da tabela e sofrem com o rollback. No Lance, o rollback de versões não as afeta, e as versões marcadas não são removidas pelo coletor de lixo.
- Branches. Na prática, um clone leve dentro da pasta do dataset original, mais um registro de onde o branch se originou.
A diferença importante em relação ao Git e ao Iceberg é que o Lance acompanha o branch pelo ponto de criação, e não pelo último commit. Os metadados do branch guardam apenas o branch pai e a versão em que ele começou. Todos os commits seguintes são gravados na pasta própria do branch, com seus manifestos e arquivos. O autor considera essa abordagem a melhor para tabelas com petabytes de dados e milhões de arquivos.
O que isso traz na prática
Gravar em um branch não altera os metadados do branch principal, por isso não há conflitos de commit nem invalidação de caches. Os dados do branch ficam fisicamente em um diretório separado, e no nível do armazenamento é possível conceder a permissão "ler a produção, gravar apenas no branch". Na auditoria, vê-se qual atividade pertence a cada branch, e os custos de armazenamento são contabilizados por branch. Além disso, cada branch tem seu histórico completo de versões, e o time travel funciona dentro dele, algo que não existe no Iceberg. É possível criar branches aninhados, por exemplo, duas variantes de um teste A/B a partir de um branch experimental comum.
Em Python, o fluxo é familiar: gravar o dataset, marcar uma versão com uma tag ("baseline", "training-v1"), abrir o dataset na versão marcada, criar um branch com create_branch e acrescentar ali os dados experimentais. O dataset principal permanece como estava.
Limitações
Esta é uma descrição do design feita pelo autor do projeto, e não um benchmark independente. O material não traz números de velocidade nem de economia, e só a prática mostrará como o esquema se comporta sob cargas grandes. O ganho deve beneficiar sobretudo as equipes que já armazenam dados de treinamento no Lance. Se você usa Iceberg ou Delta, vale mais observar o princípio em si: para experimentos, é preciso uma pasta física separada com permissões próprias, e não apenas um rótulo lógico em uma tabela compartilhada.
- 21 de nov. de 2026LanceDB lança o Realtime Engine: dados novos ficam disponíveis para busca em 52 ms
- 26 de mai. de 2026Lance, a IA da ByteDance para vídeo: como funciona o modelo multimodal
- 21 de nov. de 2026Uber e LanceDB ensinaram o formato Lance a dividir um dataset entre buckets: 5 caminhos em vez de 10 milhões
- 31 de out. de 2026SciGame testa cinco agentes de LLM: fórmulas conhecidas atrapalham a descoberta de leis alteradas
Perguntas frequentes sobre a notícia
O que não funcionou nos branches do Iceberg e nos clones do Delta?
No Iceberg, onde o autor criou branches e tags ainda em 2021, tudo funciona quase como no Git: o arquivo de metadados da tabela guarda uma lista de referências nomeadas para snapshots. As tags protegem as versões necessárias contra a limpeza, e os branches permitem acumular mudanças e verificá-las antes da publicação. Para auditoria e para o fluxo "gravar, verificar, publicar", isso funciona bem. Para experimentos de ML, porém, o resultado foi pior, por três motivos. O primeiro é o desempenho.
Como funciona no Lance?
A visão mudou quando a ByteDance e a Netflix pediram, de forma independente, branches no Lance para experimentos de IA. Os argumentos deles são estes. Um branch sempre está ligado à tabela pai, então a origem do experimento fica visível sem um sistema separado de lineage. Todos os dados permanecem dentro de um único dataset, e a limpeza segue as regras de tempo de vida de branches e tags, de modo que um clone não pode ser esquecido por acidente, o que é importante, por exemplo, para a LGPD e a GDPR.
O que isso traz na prática?
Gravar em um branch não altera os metadados do branch principal, por isso não há conflitos de commit nem invalidação de caches. Os dados do branch ficam fisicamente em um diretório separado, e no nível do armazenamento é possível conceder a permissão "ler a produção, gravar apenas no branch". Na auditoria, vê-se qual atividade pertence a cada branch, e os custos de armazenamento são contabilizados por branch.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.