Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarKDnuggets→ original

DuckLake 1.0: data lake no notebook com DuckDB e uma pasta de Parquet em uma hora

A equipe do DuckDB lançou ainda em abril o DuckLake 1.0 estável: as tabelas ficam em arquivos Parquet comuns, enquanto o restante — a lista de tabelas, os esquemas e os snapshots — é guardado em um banco SQL tradicional. O KDnuggets mostrou como montar esse data lake em um notebook com seis scripts Python: carregar 10 000 pedidos, atualizar linhas, alterar o esquema e desfazer uma exclusão acidental. Para projetos analíticos pequenos, é o caminho mais curto para versionar dados.

Processado por IA de KDnuggets; editado por Hamidun News
DuckLake 1.0: data lake no notebook com DuckDB e uma pasta de Parquet em uma hora
Fonte: KDnuggets. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalKDnuggets ↗
Editor-chefe
Dado-chave #1Requer DuckDB 1.5.2 ou mais recente e Python 3
Dado-chave #2Arquivos antigos não são apagados automaticamente: o espaço só é liberado com a limpeza de snapshots
Dado-chave #3Para vários usuários, o catálogo é migrado para o PostgreSQL

A palavra lakehouse costuma remeter a clusters, armazenamento em nuvem e semanas de configuração. A equipe do DuckDB propõe outro caminho: o DuckLake, um formato de tabelas aberto que pode ser executado em um notebook. A versão 1.0 saiu em abril de 2026, com especificação estável e garantia de compatibilidade retroativa. O KDnuggets publicou um passo a passo de como montar um data lake funcional em menos de uma hora.

Como o DuckLake funciona

A ideia é simples. Os dados em si ficam em arquivos Parquet, em uma pasta ou em um armazenamento de objetos. Todo o resto — a lista de tabelas, os esquemas, os snapshots e as estatísticas dos arquivos — fica em um catálogo, ou seja, em um banco SQL comum. Outros formatos de lakehouse guardam essas informações em arquivos de metadados; aqui, encontrar os arquivos necessários se resume a uma consulta SQL.

Como catálogo pode servir qualquer banco SQL com transações ACID e chaves primárias. Os autores recomendam escolher conforme o cenário: DuckDB para um único cliente, outro banco local para vários clientes na mesma máquina e PostgreSQL para um data lake multiusuário. O tutorial usa a opção mais simples, um arquivo DuckDB. É preciso Python 3 e o pacote duckdb na versão 1.5.2 ou superior. Na primeira execução, é necessária conexão com a internet para baixar a extensão.

O que o tutorial mostra

Seis scripts são executados em sequência. Primeiro, o DuckDB gera dois meses de pedidos fictícios, com 5 000 linhas em cada arquivo Parquet. Em seguida, o data lake é criado e o mês de janeiro é carregado nele. Uma função de snapshots exibe uma tabela com o número da versão, o horário e uma breve descrição das mudanças. Onde outros formatos obrigam a interpretar arquivos, aqui basta uma consulta comum.

Depois, os dados são alterados. Adicionam-se os pedidos de fevereiro, atualizam-se várias centenas de linhas (os pedidos "em trânsito" são marcados como entregues) e o esquema da tabela muda. Cada ação gera um novo snapshot. As atualizações funcionam como exclusão seguida de inserção: as linhas antigas são ocultadas por um arquivo de exclusões, e as novas versões são gravadas à parte. A mudança de esquema afeta apenas os metadados: os arquivos Parquet não são reescritos, e o catálogo associa os arquivos antigos à nova forma da tabela.

O recurso mais demonstrativo é a viagem no tempo. Uma consulta com AT (VERSION => número) retorna a tabela como ela estava naquele momento, com os nomes antigos das colunas. Também é possível consultar por tempo, por exemplo "10 minutos atrás". O autor provoca de propósito uma perda de dados: exclui todos os pedidos da região west e, em seguida, os reinsere a partir do snapshot em que ainda existiam. A contagem volta a 10 000 linhas. Para não fixar números de versão no código, os scripts salvam as marcas dos snapshots em um pequeno arquivo JSON.

A manutenção se resume à função que une arquivos pequenos adjacentes em arquivos maiores. Ela combina apenas arquivos com a mesma versão de esquema.

Armadilhas

O autor faz alguns alertas específicos.

  • O DuckLake nunca apaga arquivos antigos por conta própria: eles são necessários para a viagem no tempo. Para liberar espaço, é preciso primeiro remover os snapshots antigos e só depois limpar os arquivos. Depois disso, não é mais possível voltar a essas versões, por isso o prazo de retenção deve ser definido com cuidado.
  • Gravações pequenas (até 10 linhas, por padrão) são armazenadas diretamente no catálogo, e não em um novo arquivo Parquet. Depois, elas podem ser movidas para arquivos próprios com uma função específica.
  • O formato não oferece suporte a índices, chaves primárias e estrangeiras, nem às restrições UNIQUE e CHECK.
  • O catálogo em forma de arquivo DuckDB é pensado para um único cliente. Para vários usuários, cria-se o data lake sobre PostgreSQL: muda apenas a string de conexão, e as demais consultas permanecem iguais.

Próximos passos

O anúncio da versão 1.0 menciona possíveis direções para o DuckLake 2.0: ramificações no estilo git e visões materializadas incrementais. Por enquanto, são planos, não promessas. O autor recomenda ler as notas de lançamento do 2.0 antes de atualizar.

A conclusão prática para desenvolvedores e analistas é esta. Se você precisa de versões de tabelas, reversão de erros e evolução de esquema, mas não quer subir Spark ou um serviço separado de metadados, o DuckLake oferece tudo isso em um único notebook. Dá para começar com um arquivo local e, quando a equipe crescer, migrar o catálogo para o PostgreSQL. O essencial é definir de antemão a política de limpeza dos snapshots.

História

Perguntas frequentes sobre a notícia

Como o DuckLake funciona?

A ideia é simples. Os dados em si ficam em arquivos Parquet, em uma pasta ou em um armazenamento de objetos. Todo o resto — a lista de tabelas, os esquemas, os snapshots e as estatísticas dos arquivos — fica em um catálogo, ou seja, em um banco SQL comum. Outros formatos de lakehouse guardam essas informações em arquivos de metadados; aqui, encontrar os arquivos necessários se resume a uma consulta SQL. Como catálogo pode servir qualquer banco SQL com transações ACID e chaves primárias.

O que o tutorial mostra?

Seis scripts são executados em sequência. Primeiro, o DuckDB gera dois meses de pedidos fictícios, com 5 000 linhas em cada arquivo Parquet. Em seguida, o data lake é criado e o mês de janeiro é carregado nele. Uma função de snapshots exibe uma tabela com o número da versão, o horário e uma breve descrição das mudanças. Onde outros formatos obrigam a interpretar arquivos, aqui basta uma consulta comum. Depois, os dados são alterados.

O que se sabe sobre Armadilhas?

O autor faz alguns alertas específicos. O DuckLake nunca apaga arquivos antigos por conta própria: eles são necessários para a viagem no tempo. Para liberar espaço, é preciso primeiro remover os snapshots antigos e só depois limpar os arquivos. Depois disso, não é mais possível voltar a essas versões, por isso o prazo de retenção deve ser definido com cuidado. Gravações pequenas (até 10 linhas, por padrão) são armazenadas diretamente no catálogo, e não em um novo arquivo Parquet.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…