DuckLake 1.0 : un lakehouse sur ordinateur portable avec DuckDB et un dossier de fichiers Parquet en une heure
L'équipe DuckDB a publié en avril une version stable de DuckLake 1.0 : les tables sont stockées dans des fichiers Parquet ordinaires, tandis que tout le reste (liste des tables, schémas, snapshots) est conservé dans une base SQL classique. KDnuggets montre comment, avec six scripts Python, construire un tel lac de données sur un ordinateur portable : charger 10 000 commandes, mettre à jour des lignes, modifier un schéma et annuler une suppression accidentelle. Pour les petits projets analytiques, c'est le chemin le plus court vers le versionnement des données.
Traité par IA depuis KDnuggets ; édité par Hamidun News
Le terme lakehouse évoque généralement des clusters, des stockages cloud et plusieurs semaines de configuration. L'équipe DuckDB propose une autre voie : DuckLake, un format de tables ouvert que l'on peut déployer sur un ordinateur portable. La version 1.0 est sortie en avril 2026 avec une spécification stable et une garantie de rétrocompatibilité. KDnuggets a publié un guide pas à pas expliquant comment monter un lac de données fonctionnel en moins d'une heure.
Comment fonctionne DuckLake
Le principe est simple. Les données elles-mêmes sont stockées dans des fichiers Parquet, dans un dossier ou dans un stockage objet. Tout le reste — liste des tables, schémas, snapshots et statistiques par fichier — est conservé dans un catalogue, c'est-à-dire une base SQL ordinaire. D'autres formats lakehouse stockent ces informations dans des fichiers de métadonnées ; ici, retrouver les fichiers utiles revient à exécuter une seule requête SQL.
Le catalogue peut être n'importe quelle base SQL offrant des transactions ACID et des clés primaires. Les auteurs recommandent de choisir selon le scénario : DuckDB pour un seul client, une autre base locale pour plusieurs clients sur une même machine, et PostgreSQL pour un lac multi-utilisateurs. Le tutoriel utilise l'option la plus simple, un fichier DuckDB. Il faut Python 3 et le paquet duckdb en version 1.5.2 minimum. Au premier lancement, une connexion Internet est nécessaire pour télécharger l'extension.
Ce que montre le tutoriel
Six scripts s'exécutent dans l'ordre. D'abord, DuckDB génère deux mois de commandes fictives, à raison de 5 000 lignes par fichier Parquet. Ensuite, on crée le lac et on y charge janvier. Une fonction de snapshots affiche une table avec le numéro de version, l'horodatage et une brève description des modifications. Là où d'autres formats obligent à analyser les fichiers, une simple requête suffit.
Les données sont ensuite modifiées. On ajoute février, on met à jour plusieurs centaines de lignes (les commandes « en transit » passent à livrées) et on modifie le schéma de la table. Chaque opération crée un nouveau snapshot. Les mises à jour fonctionnent comme une suppression suivie d'une insertion : les anciennes lignes sont masquées par un fichier de suppressions, et les nouvelles versions sont écrites séparément. Le changement de schéma ne touche que les métadonnées : les fichiers Parquet ne sont pas réécrits, le catalogue fait correspondre les anciens fichiers à la nouvelle forme de la table.
Le plus parlant reste le voyage dans le temps. Une requête avec la clause AT (VERSION => numéro) renvoie la table telle qu'elle était à ce moment-là, avec les anciens noms de colonnes. On peut aussi interroger par temps, par exemple « il y a 10 minutes ». L'auteur provoque volontairement une casse : il supprime toutes les commandes de la région west, puis les réinsère depuis le snapshot où elles existaient encore. Le compteur revient à 10 000 lignes. Pour ne pas figer les numéros de version dans le code, les scripts enregistrent les repères des snapshots dans un petit fichier JSON.
La maintenance se résume à une fonction de fusion des petits fichiers voisins en fichiers plus gros. Elle ne combine que les fichiers ayant la même version de schéma.
Les pièges à connaître
L'auteur signale plusieurs points à surveiller.
- DuckLake ne supprime jamais lui-même les anciens fichiers : ils sont nécessaires au voyage dans le temps. Pour libérer de l'espace, il faut d'abord supprimer les anciens snapshots, puis nettoyer les fichiers. Mais une fois cela fait, il n'est plus possible de revenir à ces versions ; la durée de conservation doit donc être définie en connaissance de cause.
- Les petites écritures (jusqu'à 10 lignes par défaut) sont placées directement dans le catalogue, et non dans un nouveau fichier Parquet. Elles peuvent être déplacées plus tard avec une fonction dédiée.
- Le format ne prend pas en charge les index, les clés primaires et étrangères, ni les contraintes UNIQUE et CHECK.
- Le catalogue sous forme de fichier DuckDB est prévu pour un seul client. Pour plusieurs utilisateurs, on crée le lac sur PostgreSQL : seule la chaîne de connexion change, les autres requêtes restent identiques.
La suite
L'annonce de la version 1.0 évoque des pistes pour DuckLake 2.0 : branches à la manière de git et vues matérialisées incrémentales. Il ne s'agit pour l'instant que de projets, non de promesses. L'auteur conseille de lire les notes de version 2.0 avant toute mise à jour.
Pour les développeurs et les analystes, la conclusion pratique est la suivante. Si vous avez besoin de versions de tables, d'annulation d'erreurs et d'évolution de schéma, sans vouloir déployer Spark ni un service de métadonnées dédié, DuckLake offre tout cela sur un seul ordinateur portable. On peut commencer avec un fichier local, puis déplacer le catalogue vers PostgreSQL lorsque l'équipe grandit. L'essentiel est de définir à l'avance la politique de nettoyage des snapshots.
- 12 nov. 2026AWS publie un modèle de data lake pour Bedrock : chaque prompt, chaque token et son coût deviennent visibles
- 30 avr. 2026Aleksey Seleznev publie un cours vidéo gratuit sur R pour développer des outils d'IA
- 10 oct. 2026ReviewScope traque les anomalies dans les avis via embeddings et graphes sur 21 000 textes
- 8 nov. 2026Un non-programmeur a recréé le HackerTube de Karpathy pour Habr : 388 vidéos en une soirée
Questions clés sur cet article
Comment fonctionne DuckLake?
Le principe est simple. Les données elles-mêmes sont stockées dans des fichiers Parquet, dans un dossier ou dans un stockage objet. Tout le reste — liste des tables, schémas, snapshots et statistiques par fichier — est conservé dans un catalogue, c'est-à-dire une base SQL ordinaire. D'autres formats lakehouse stockent ces informations dans des fichiers de métadonnées ; ici, retrouver les fichiers utiles revient à exécuter une seule requête SQL.
Que sait-on sur Ce que montre le tutoriel ?
Six scripts s'exécutent dans l'ordre. D'abord, DuckDB génère deux mois de commandes fictives, à raison de 5 000 lignes par fichier Parquet. Ensuite, on crée le lac et on y charge janvier. Une fonction de snapshots affiche une table avec le numéro de version, l'horodatage et une brève description des modifications. Là où d'autres formats obligent à analyser les fichiers, une simple requête suffit. Les données sont ensuite modifiées.
Que sait-on sur Les pièges à connaître ?
L'auteur signale plusieurs points à surveiller. DuckLake ne supprime jamais lui-même les anciens fichiers : ils sont nécessaires au voyage dans le temps. Pour libérer de l'espace, il faut d'abord supprimer les anciens snapshots, puis nettoyer les fichiers. Mais une fois cela fait, il n'est plus possible de revenir à ces versions ; la durée de conservation doit donc être définie en connaissance de cause.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.