DuckLake 1.0: un data lake en el portátil con DuckDB y una carpeta de Parquet en una hora
El equipo de DuckDB lanzó en abril la versión estable de DuckLake 1.0: las tablas se guardan en archivos Parquet normales, y todo lo demás (la lista de tablas, los esquemas y las instantáneas) se almacena en una base de datos SQL convencional. KDnuggets explica cómo montar un lago de este tipo en un portátil con seis scripts de Python: cargar 10 000 pedidos, actualizar filas, cambiar un esquema y deshacer un borrado accidental. Para proyectos analíticos pequeños, es el camino más corto hacia el versionado de datos.
Procesado por IA desde KDnuggets; editado por Hamidun News
La palabra lakehouse suele asociarse a clústeres, almacenamiento en la nube y semanas de configuración. El equipo de DuckDB propone otro camino: DuckLake, un formato de tablas abierto que puede ejecutarse en un portátil. La versión 1.0 salió en abril de 2026 con una especificación estable y una garantía de compatibilidad con versiones anteriores. KDnuggets publicó una guía paso a paso para montar un data lake funcional en menos de una hora.
Cómo funciona DuckLake
La idea es sencilla. Los datos en sí se guardan en archivos Parquet, en una carpeta o en un almacenamiento de objetos. Todo lo demás (la lista de tablas, los esquemas, las instantáneas y las estadísticas por archivo) vive en un catálogo, es decir, en una base de datos SQL convencional. Otros formatos lakehouse guardan esa información en archivos auxiliares; aquí, localizar los archivos necesarios se reduce a una sola consulta SQL.
Como catálogo puede usarse cualquier base SQL con transacciones ACID y claves primarias. Los autores recomiendan elegir según el escenario: DuckDB para un único cliente, otra base local para varios clientes en la misma máquina y PostgreSQL para un lago multiusuario. El tutorial usa la opción más sencilla, un archivo de DuckDB. Hace falta Python 3 y el paquete duckdb en la versión 1.5.2 o superior. En el primer arranque se necesita conexión a internet para descargar la extensión.
Qué muestra el tutorial
Se ejecutan seis scripts en orden. Primero, DuckDB genera dos meses de pedidos ficticios, con 5 000 filas en cada archivo Parquet. Después se crea el lago y se carga enero. Una función auxiliar de instantáneas muestra una tabla con el número de versión, la hora y una breve descripción de los cambios. Donde otros formatos obligan a analizar archivos, aquí basta con una consulta normal.
Después se modifican los datos. Se añade febrero, se actualizan varios cientos de filas (los pedidos «en camino» pasan a marcarse como entregados) y se cambia el esquema de la tabla. Cada acción genera una nueva instantánea. Las actualizaciones funcionan como borrado más inserción: las filas antiguas quedan ocultas mediante un archivo de borrados y las nuevas versiones se escriben por separado. El cambio de esquema afecta solo a los metadatos: los archivos Parquet no se reescriben, y el catálogo asocia los archivos antiguos con la nueva forma de la tabla.
Lo más llamativo es el viaje en el tiempo. Una consulta con AT (VERSION => número) devuelve la tabla tal como estaba en ese momento, con los nombres de columnas antiguos incluidos. También se puede consultar por tiempo, por ejemplo «hace 10 minutos». El autor rompe los datos a propósito: elimina todos los pedidos de la región west y después los reinserta desde una instantánea en la que aún existían. El contador vuelve a 10 000 filas. Para no codificar números de versión en el código, los scripts guardan las marcas de las instantáneas en un pequeño archivo JSON.
El mantenimiento se reduce a una función que fusiona archivos pequeños contiguos en otros más grandes. Solo combina archivos que tienen la misma versión de esquema.
Trampas a tener en cuenta
El autor advierte expresamente de varias cuestiones.
- DuckLake nunca elimina por sí mismo los archivos antiguos, porque los necesita para el viaje en el tiempo. Para liberar espacio hay que borrar primero las instantáneas antiguas y luego limpiar los archivos. Pero después ya no se puede volver a esas versiones, así que el periodo de retención debe definirse con criterio.
- Las escrituras pequeñas (hasta 10 filas por defecto) van directamente al catálogo, no a un nuevo archivo Parquet. Más adelante pueden trasladarse con una función específica.
- El formato no admite índices, claves primarias y foráneas, ni restricciones UNIQUE y CHECK.
- El catálogo en forma de archivo de DuckDB está pensado para un solo cliente. Para varios usuarios se crea el lago sobre PostgreSQL: solo cambia la cadena de conexión y el resto de consultas permanece igual.
Qué viene después
El anuncio de la versión 1.0 menciona posibles líneas para DuckLake 2.0: ramas al estilo git y vistas materializadas incrementales. Por ahora son planes, no compromisos. El autor recomienda leer las notas de la versión 2.0 antes de actualizar.
La conclusión práctica para desarrolladores y analistas es esta. Si necesitas versiones de tablas, reversión de errores y evolución de esquemas, pero no quieres levantar Spark ni un servicio de metadatos aparte, DuckLake ofrece todo eso en un solo portátil. Puedes empezar con un archivo local y, cuando el equipo crezca, trasladar el catálogo a PostgreSQL. Lo esencial es definir de antemano la política de limpieza de instantáneas.
- 12 nov 2026AWS publica una plantilla de data lake para Bedrock: cada prompt, cada token y su coste, a la vista
- 30 abr 2026Aleksey Seleznev publica un curso gratuito en vídeo de R para desarrollar herramientas de IA
- 10 oct 2026ReviewScope busca anomalías en reseñas mediante embeddings y grafos en 21.000 textos
- 8 nov 2026Un no programador recreo el HackerTube de Karpathy para Habr: 388 videos en una tarde
Preguntas frecuentes sobre la noticia
Cómo funciona DuckLake?
La idea es sencilla. Los datos en sí se guardan en archivos Parquet, en una carpeta o en un almacenamiento de objetos. Todo lo demás (la lista de tablas, los esquemas, las instantáneas y las estadísticas por archivo) vive en un catálogo, es decir, en una base de datos SQL convencional. Otros formatos lakehouse guardan esa información en archivos auxiliares; aquí, localizar los archivos necesarios se reduce a una sola consulta SQL.
¿Qué se sabe sobre Qué muestra el tutorial?
Se ejecutan seis scripts en orden. Primero, DuckDB genera dos meses de pedidos ficticios, con 5 000 filas en cada archivo Parquet. Después se crea el lago y se carga enero. Una función auxiliar de instantáneas muestra una tabla con el número de versión, la hora y una breve descripción de los cambios. Donde otros formatos obligan a analizar archivos, aquí basta con una consulta normal. Después se modifican los datos.
¿Qué se sabe sobre Trampas a tener en cuenta?
El autor advierte expresamente de varias cuestiones. DuckLake nunca elimina por sí mismo los archivos antiguos, porque los necesita para el viaje en el tiempo. Para liberar espacio hay que borrar primero las instantáneas antiguas y luego limpiar los archivos. Pero después ya no se puede volver a esas versiones, así que el periodo de retención debe definirse con criterio. Las escrituras pequeñas (hasta 10 filas por defecto) van directamente al catálogo, no a un nuevo archivo Parquet.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.