Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуKDnuggets→ оригинал

DuckLake 1.0: озеро данных на ноутбуке из DuckDB и папки с Parquet за час

Команда DuckDB ещё в апреле выпустила стабильный DuckLake 1.0: таблицы лежат в обычных Parquet-файлах, а всё остальное — список таблиц, схемы, снапшоты — хранится в обычной SQL-базе. KDnuggets показал, как за шесть скриптов на Python собрать такое озеро на ноутбуке: загрузить 10 000 заказов, обновить строки, поменять схему и откатить случайное удаление. Для небольших аналитических проектов это самый короткий путь к версионированию данных.

AI-обработка оригинала KDnuggets; редакция Hamidun News
DuckLake 1.0: озеро данных на ноутбуке из DuckDB и папки с Parquet за час
Источник: KDnuggets. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникKDnuggets ↗
Главный редактор
Ключевой факт #1Нужен DuckDB версии 1.5.2 или новее и Python 3
Старые файлы не удаляютсяместо освобождает только чистка снапшотов
Ключевой факт #3Для нескольких пользователей каталог переносят в PostgreSQL

Слово lakehouse обычно ассоциируется с кластерами, облачными хранилищами и неделями настройки. Команда DuckDB предлагает другой путь: DuckLake, открытый табличный формат, который можно поднять на ноутбуке. Версия 1.0 вышла в апреле 2026 года со стабильной спецификацией и гарантией обратной совместимости. KDnuggets опубликовал пошаговый разбор, как собрать рабочее озеро данных меньше чем за час.

Как устроен DuckLake

Идея простая. Сами данные лежат в Parquet-файлах в папке или в объектном хранилище. Всё остальное — список таблиц, схемы, снапшоты и статистика по файлам — живёт в каталоге, то есть в обычной SQL-базе. Другие lakehouse-форматы хранят эти сведения в служебных файлах, а здесь поиск нужных файлов превращается в один SQL-запрос.

Каталогом может быть любая SQL-база с ACID-транзакциями и первичными ключами. Авторы рекомендуют выбирать по сценарию: DuckDB для одного клиента, другую локальную базу для нескольких клиентов на одной машине и PostgreSQL для многопользовательского озера. В туториале берут самый простой вариант — файл DuckDB. Для работы нужен Python 3 и пакет duckdb версии не ниже 1.5.2. При первом запуске нужен интернет, чтобы скачать расширение.

Что показывает туториал

Шесть скриптов запускаются по порядку. Сначала DuckDB сам генерирует два месяца вымышленных заказов — по 5 000 строк в каждом Parquet-файле. Затем создаётся озеро, и в него загружается январь. Служебная функция снапшотов показывает таблицу с номером версии, временем и кратким описанием изменений. Там, где другие форматы заставляют разбирать файлы, здесь достаточно обычного запроса.

Дальше данные меняют. Добавляют февраль, обновляют несколько сотен строк (заказы «в пути» помечают доставленными) и меняют схему таблицы. Каждое действие создаёт новый снапшот. Обновления работают как удаление плюс вставка: старые строки скрываются файлом удалений, а новые версии записываются отдельно. Смена схемы затрагивает только метаданные: Parquet-файлы не переписываются, а каталог сопоставляет старые файлы с новой формой таблицы.

Самое наглядное — путешествие во времени. Запрос с конструкцией AT (VERSION => номер) возвращает таблицу такой, какой она была в нужный момент, вместе со старыми названиями колонок. Можно обращаться и по времени, например «10 минут назад». Автор специально ломает данные: удаляет все заказы региона west, а потом вставляет их обратно из снапшота, где они ещё были. Счётчик возвращается к 10 000 строк. Чтобы не зашивать номера версий в код, скрипты сохраняют метки снапшотов в небольшой JSON-файл.

Обслуживание сводится к функции слияния мелких соседних файлов в крупные. Она объединяет только файлы с одной версией схемы.

Подводные камни

Автор отдельно предупреждает о нескольких вещах.

  • DuckLake никогда не удаляет старые файлы сам: они нужны для time travel. Чтобы освободить место, нужно сначала удалить старые снапшоты, а потом почистить файлы. Но после этого вернуться к этим версиям уже нельзя, поэтому срок хранения надо задавать осознанно.
  • Мелкие записи по умолчанию (до 10 строк) попадают прямо в каталог, а не в новый Parquet-файл. Позже их можно вынести отдельной функцией.
  • Формат не поддерживает индексы, первичные и внешние ключи, а также ограничения UNIQUE и CHECK.
  • Каталог в виде файла DuckDB рассчитан на одного клиента. Для нескольких пользователей создают озеро на PostgreSQL: меняется только строка подключения, остальные запросы остаются прежними.

Что дальше

В анонсе версии 1.0 упоминаются возможные направления для DuckLake 2.0: git-подобные ветки и инкрементальные материализованные представления. Это пока планы, а не обещания. Автор советует перед обновлением читать заметки к релизу 2.0.

Практический вывод для разработчиков и аналитиков такой. Если вам нужны версии таблиц, откат ошибок и эволюция схемы, но поднимать Spark или отдельный сервис метаданных не хочется, DuckLake даёт всё это на одном ноутбуке. Начать можно с локального файла, а когда команда вырастет, перенести каталог в PostgreSQL. Главное — заранее продумать политику очистки снапшотов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен DuckLake?

Идея простая. Сами данные лежат в Parquet-файлах в папке или в объектном хранилище. Всё остальное — список таблиц, схемы, снапшоты и статистика по файлам — живёт в каталоге, то есть в обычной SQL-базе. Другие lakehouse-форматы хранят эти сведения в служебных файлах, а здесь поиск нужных файлов превращается в один SQL-запрос. Каталогом может быть любая SQL-база с ACID-транзакциями и первичными ключами.

Что известно по теме: что показывает туториал?

Шесть скриптов запускаются по порядку. Сначала DuckDB сам генерирует два месяца вымышленных заказов — по 5 000 строк в каждом Parquet-файле. Затем создаётся озеро, и в него загружается январь. Служебная функция снапшотов показывает таблицу с номером версии, временем и кратким описанием изменений. Там, где другие форматы заставляют разбирать файлы, здесь достаточно обычного запроса. Дальше данные меняют.

Что известно по теме: подводные камни?

Автор отдельно предупреждает о нескольких вещах. DuckLake никогда не удаляет старые файлы сам: они нужны для time travel. Чтобы освободить место, нужно сначала удалить старые снапшоты, а потом почистить файлы. Но после этого вернуться к этим версиям уже нельзя, поэтому срок хранения надо задавать осознанно. Мелкие записи по умолчанию (до 10 строк) попадают прямо в каталог, а не в новый Parquet-файл. Позже их можно вынести отдельной функцией.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…