Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
IndustriaAnálisis · En radarKDnuggets→ original

DuckLake 1.0: un data lake en el portátil con DuckDB y una carpeta de Parquet en una hora

El equipo de DuckDB lanzó en abril la versión estable de DuckLake 1.0: las tablas se guardan en archivos Parquet normales, y todo lo demás (la lista de tablas, los esquemas y las instantáneas) se almacena en una base de datos SQL convencional. KDnuggets explica cómo montar un lago de este tipo en un portátil con seis scripts de Python: cargar 10 000 pedidos, actualizar filas, cambiar un esquema y deshacer un borrado accidental. Para proyectos analíticos pequeños, es el camino más corto hacia el versionado de datos.

Procesado por IA desde KDnuggets; editado por Hamidun News
DuckLake 1.0: un data lake en el portátil con DuckDB y una carpeta de Parquet en una hora
Fuente: KDnuggets. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalKDnuggets ↗
Editor jefe
Dato clave #1Se necesita DuckDB 1.5.2 o posterior y Python 3
Los archivos antiguos no se eliminansolo la limpieza de instantáneas libera espacio
Dato clave #3Para varios usuarios, el catálogo se traslada a PostgreSQL

La palabra lakehouse suele asociarse a clústeres, almacenamiento en la nube y semanas de configuración. El equipo de DuckDB propone otro camino: DuckLake, un formato de tablas abierto que puede ejecutarse en un portátil. La versión 1.0 salió en abril de 2026 con una especificación estable y una garantía de compatibilidad con versiones anteriores. KDnuggets publicó una guía paso a paso para montar un data lake funcional en menos de una hora.

Cómo funciona DuckLake

La idea es sencilla. Los datos en sí se guardan en archivos Parquet, en una carpeta o en un almacenamiento de objetos. Todo lo demás (la lista de tablas, los esquemas, las instantáneas y las estadísticas por archivo) vive en un catálogo, es decir, en una base de datos SQL convencional. Otros formatos lakehouse guardan esa información en archivos auxiliares; aquí, localizar los archivos necesarios se reduce a una sola consulta SQL.

Como catálogo puede usarse cualquier base SQL con transacciones ACID y claves primarias. Los autores recomiendan elegir según el escenario: DuckDB para un único cliente, otra base local para varios clientes en la misma máquina y PostgreSQL para un lago multiusuario. El tutorial usa la opción más sencilla, un archivo de DuckDB. Hace falta Python 3 y el paquete duckdb en la versión 1.5.2 o superior. En el primer arranque se necesita conexión a internet para descargar la extensión.

Qué muestra el tutorial

Se ejecutan seis scripts en orden. Primero, DuckDB genera dos meses de pedidos ficticios, con 5 000 filas en cada archivo Parquet. Después se crea el lago y se carga enero. Una función auxiliar de instantáneas muestra una tabla con el número de versión, la hora y una breve descripción de los cambios. Donde otros formatos obligan a analizar archivos, aquí basta con una consulta normal.

Después se modifican los datos. Se añade febrero, se actualizan varios cientos de filas (los pedidos «en camino» pasan a marcarse como entregados) y se cambia el esquema de la tabla. Cada acción genera una nueva instantánea. Las actualizaciones funcionan como borrado más inserción: las filas antiguas quedan ocultas mediante un archivo de borrados y las nuevas versiones se escriben por separado. El cambio de esquema afecta solo a los metadatos: los archivos Parquet no se reescriben, y el catálogo asocia los archivos antiguos con la nueva forma de la tabla.

Lo más llamativo es el viaje en el tiempo. Una consulta con AT (VERSION => número) devuelve la tabla tal como estaba en ese momento, con los nombres de columnas antiguos incluidos. También se puede consultar por tiempo, por ejemplo «hace 10 minutos». El autor rompe los datos a propósito: elimina todos los pedidos de la región west y después los reinserta desde una instantánea en la que aún existían. El contador vuelve a 10 000 filas. Para no codificar números de versión en el código, los scripts guardan las marcas de las instantáneas en un pequeño archivo JSON.

El mantenimiento se reduce a una función que fusiona archivos pequeños contiguos en otros más grandes. Solo combina archivos que tienen la misma versión de esquema.

Trampas a tener en cuenta

El autor advierte expresamente de varias cuestiones.

  • DuckLake nunca elimina por sí mismo los archivos antiguos, porque los necesita para el viaje en el tiempo. Para liberar espacio hay que borrar primero las instantáneas antiguas y luego limpiar los archivos. Pero después ya no se puede volver a esas versiones, así que el periodo de retención debe definirse con criterio.
  • Las escrituras pequeñas (hasta 10 filas por defecto) van directamente al catálogo, no a un nuevo archivo Parquet. Más adelante pueden trasladarse con una función específica.
  • El formato no admite índices, claves primarias y foráneas, ni restricciones UNIQUE y CHECK.
  • El catálogo en forma de archivo de DuckDB está pensado para un solo cliente. Para varios usuarios se crea el lago sobre PostgreSQL: solo cambia la cadena de conexión y el resto de consultas permanece igual.

Qué viene después

El anuncio de la versión 1.0 menciona posibles líneas para DuckLake 2.0: ramas al estilo git y vistas materializadas incrementales. Por ahora son planes, no compromisos. El autor recomienda leer las notas de la versión 2.0 antes de actualizar.

La conclusión práctica para desarrolladores y analistas es esta. Si necesitas versiones de tablas, reversión de errores y evolución de esquemas, pero no quieres levantar Spark ni un servicio de metadatos aparte, DuckLake ofrece todo eso en un solo portátil. Puedes empezar con un archivo local y, cuando el equipo crezca, trasladar el catálogo a PostgreSQL. Lo esencial es definir de antemano la política de limpieza de instantáneas.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona DuckLake?

La idea es sencilla. Los datos en sí se guardan en archivos Parquet, en una carpeta o en un almacenamiento de objetos. Todo lo demás (la lista de tablas, los esquemas, las instantáneas y las estadísticas por archivo) vive en un catálogo, es decir, en una base de datos SQL convencional. Otros formatos lakehouse guardan esa información en archivos auxiliares; aquí, localizar los archivos necesarios se reduce a una sola consulta SQL.

¿Qué se sabe sobre Qué muestra el tutorial?

Se ejecutan seis scripts en orden. Primero, DuckDB genera dos meses de pedidos ficticios, con 5 000 filas en cada archivo Parquet. Después se crea el lago y se carga enero. Una función auxiliar de instantáneas muestra una tabla con el número de versión, la hora y una breve descripción de los cambios. Donde otros formatos obligan a analizar archivos, aquí basta con una consulta normal. Después se modifican los datos.

¿Qué se sabe sobre Trampas a tener en cuenta?

El autor advierte expresamente de varias cuestiones. DuckLake nunca elimina por sí mismo los archivos antiguos, porque los necesita para el viaje en el tiempo. Para liberar espacio hay que borrar primero las instantáneas antiguas y luego limpiar los archivos. Pero después ya no se puede volver a esas versiones, así que el periodo de retención debe definirse con criterio. Las escrituras pequeñas (hasta 10 filas por defecto) van directamente al catálogo, no a un nuevo archivo Parquet.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…