DuckLake 1.0: data lake no notebook com DuckDB e uma pasta de Parquet em uma hora
A equipe do DuckDB lançou ainda em abril o DuckLake 1.0 estável: as tabelas ficam em arquivos Parquet comuns, enquanto o restante — a lista de tabelas, os esquemas e os snapshots — é guardado em um banco SQL tradicional. O KDnuggets mostrou como montar esse data lake em um notebook com seis scripts Python: carregar 10 000 pedidos, atualizar linhas, alterar o esquema e desfazer uma exclusão acidental. Para projetos analíticos pequenos, é o caminho mais curto para versionar dados.
Processado por IA de KDnuggets; editado por Hamidun News
A palavra lakehouse costuma remeter a clusters, armazenamento em nuvem e semanas de configuração. A equipe do DuckDB propõe outro caminho: o DuckLake, um formato de tabelas aberto que pode ser executado em um notebook. A versão 1.0 saiu em abril de 2026, com especificação estável e garantia de compatibilidade retroativa. O KDnuggets publicou um passo a passo de como montar um data lake funcional em menos de uma hora.
Como o DuckLake funciona
A ideia é simples. Os dados em si ficam em arquivos Parquet, em uma pasta ou em um armazenamento de objetos. Todo o resto — a lista de tabelas, os esquemas, os snapshots e as estatísticas dos arquivos — fica em um catálogo, ou seja, em um banco SQL comum. Outros formatos de lakehouse guardam essas informações em arquivos de metadados; aqui, encontrar os arquivos necessários se resume a uma consulta SQL.
Como catálogo pode servir qualquer banco SQL com transações ACID e chaves primárias. Os autores recomendam escolher conforme o cenário: DuckDB para um único cliente, outro banco local para vários clientes na mesma máquina e PostgreSQL para um data lake multiusuário. O tutorial usa a opção mais simples, um arquivo DuckDB. É preciso Python 3 e o pacote duckdb na versão 1.5.2 ou superior. Na primeira execução, é necessária conexão com a internet para baixar a extensão.
O que o tutorial mostra
Seis scripts são executados em sequência. Primeiro, o DuckDB gera dois meses de pedidos fictícios, com 5 000 linhas em cada arquivo Parquet. Em seguida, o data lake é criado e o mês de janeiro é carregado nele. Uma função de snapshots exibe uma tabela com o número da versão, o horário e uma breve descrição das mudanças. Onde outros formatos obrigam a interpretar arquivos, aqui basta uma consulta comum.
Depois, os dados são alterados. Adicionam-se os pedidos de fevereiro, atualizam-se várias centenas de linhas (os pedidos "em trânsito" são marcados como entregues) e o esquema da tabela muda. Cada ação gera um novo snapshot. As atualizações funcionam como exclusão seguida de inserção: as linhas antigas são ocultadas por um arquivo de exclusões, e as novas versões são gravadas à parte. A mudança de esquema afeta apenas os metadados: os arquivos Parquet não são reescritos, e o catálogo associa os arquivos antigos à nova forma da tabela.
O recurso mais demonstrativo é a viagem no tempo. Uma consulta com AT (VERSION => número) retorna a tabela como ela estava naquele momento, com os nomes antigos das colunas. Também é possível consultar por tempo, por exemplo "10 minutos atrás". O autor provoca de propósito uma perda de dados: exclui todos os pedidos da região west e, em seguida, os reinsere a partir do snapshot em que ainda existiam. A contagem volta a 10 000 linhas. Para não fixar números de versão no código, os scripts salvam as marcas dos snapshots em um pequeno arquivo JSON.
A manutenção se resume à função que une arquivos pequenos adjacentes em arquivos maiores. Ela combina apenas arquivos com a mesma versão de esquema.
Armadilhas
O autor faz alguns alertas específicos.
- O DuckLake nunca apaga arquivos antigos por conta própria: eles são necessários para a viagem no tempo. Para liberar espaço, é preciso primeiro remover os snapshots antigos e só depois limpar os arquivos. Depois disso, não é mais possível voltar a essas versões, por isso o prazo de retenção deve ser definido com cuidado.
- Gravações pequenas (até 10 linhas, por padrão) são armazenadas diretamente no catálogo, e não em um novo arquivo Parquet. Depois, elas podem ser movidas para arquivos próprios com uma função específica.
- O formato não oferece suporte a índices, chaves primárias e estrangeiras, nem às restrições UNIQUE e CHECK.
- O catálogo em forma de arquivo DuckDB é pensado para um único cliente. Para vários usuários, cria-se o data lake sobre PostgreSQL: muda apenas a string de conexão, e as demais consultas permanecem iguais.
Próximos passos
O anúncio da versão 1.0 menciona possíveis direções para o DuckLake 2.0: ramificações no estilo git e visões materializadas incrementais. Por enquanto, são planos, não promessas. O autor recomenda ler as notas de lançamento do 2.0 antes de atualizar.
A conclusão prática para desenvolvedores e analistas é esta. Se você precisa de versões de tabelas, reversão de erros e evolução de esquema, mas não quer subir Spark ou um serviço separado de metadados, o DuckLake oferece tudo isso em um único notebook. Dá para começar com um arquivo local e, quando a equipe crescer, migrar o catálogo para o PostgreSQL. O essencial é definir de antemão a política de limpeza dos snapshots.
- 12 de nov. de 2026AWS publica template de data lake para o Bedrock: dá para ver cada prompt, token e seu custo
- 30 de abr. de 2026Aleksey Seleznev lança curso gratuito em vídeo de R para desenvolver ferramentas de IA
- 10 de out. de 2026ReviewScope busca anomalias em avaliações usando embeddings e grafos em 21 mil textos
- 8 de nov. de 2026Um nao programador recriou o HackerTube de Karpathy para o Habr: 388 videos em uma noite
Perguntas frequentes sobre a notícia
Como o DuckLake funciona?
A ideia é simples. Os dados em si ficam em arquivos Parquet, em uma pasta ou em um armazenamento de objetos. Todo o resto — a lista de tabelas, os esquemas, os snapshots e as estatísticas dos arquivos — fica em um catálogo, ou seja, em um banco SQL comum. Outros formatos de lakehouse guardam essas informações em arquivos de metadados; aqui, encontrar os arquivos necessários se resume a uma consulta SQL. Como catálogo pode servir qualquer banco SQL com transações ACID e chaves primárias.
O que o tutorial mostra?
Seis scripts são executados em sequência. Primeiro, o DuckDB gera dois meses de pedidos fictícios, com 5 000 linhas em cada arquivo Parquet. Em seguida, o data lake é criado e o mês de janeiro é carregado nele. Uma função de snapshots exibe uma tabela com o número da versão, o horário e uma breve descrição das mudanças. Onde outros formatos obrigam a interpretar arquivos, aqui basta uma consulta comum. Depois, os dados são alterados.
O que se sabe sobre Armadilhas?
O autor faz alguns alertas específicos. O DuckLake nunca apaga arquivos antigos por conta própria: eles são necessários para a viagem no tempo. Para liberar espaço, é preciso primeiro remover os snapshots antigos e só depois limpar os arquivos. Depois disso, não é mais possível voltar a essas versões, por isso o prazo de retenção deve ser definido com cuidado. Gravações pequenas (até 10 linhas, por padrão) são armazenadas diretamente no catálogo, e não em um novo arquivo Parquet.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.