DuckLake 1.0: озеро данных на ноутбуке из DuckDB и папки с Parquet за час
Команда DuckDB ещё в апреле выпустила стабильный DuckLake 1.0: таблицы лежат в обычных Parquet-файлах, а всё остальное — список таблиц, схемы, снапшоты — хранится в обычной SQL-базе. KDnuggets показал, как за шесть скриптов на Python собрать такое озеро на ноутбуке: загрузить 10 000 заказов, обновить строки, поменять схему и откатить случайное удаление. Для небольших аналитических проектов это самый короткий путь к версионированию данных.
AI-обработка оригинала KDnuggets; редакция Hamidun News
Слово lakehouse обычно ассоциируется с кластерами, облачными хранилищами и неделями настройки. Команда DuckDB предлагает другой путь: DuckLake, открытый табличный формат, который можно поднять на ноутбуке. Версия 1.0 вышла в апреле 2026 года со стабильной спецификацией и гарантией обратной совместимости. KDnuggets опубликовал пошаговый разбор, как собрать рабочее озеро данных меньше чем за час.
Как устроен DuckLake
Идея простая. Сами данные лежат в Parquet-файлах в папке или в объектном хранилище. Всё остальное — список таблиц, схемы, снапшоты и статистика по файлам — живёт в каталоге, то есть в обычной SQL-базе. Другие lakehouse-форматы хранят эти сведения в служебных файлах, а здесь поиск нужных файлов превращается в один SQL-запрос.
Каталогом может быть любая SQL-база с ACID-транзакциями и первичными ключами. Авторы рекомендуют выбирать по сценарию: DuckDB для одного клиента, другую локальную базу для нескольких клиентов на одной машине и PostgreSQL для многопользовательского озера. В туториале берут самый простой вариант — файл DuckDB. Для работы нужен Python 3 и пакет duckdb версии не ниже 1.5.2. При первом запуске нужен интернет, чтобы скачать расширение.
Что показывает туториал
Шесть скриптов запускаются по порядку. Сначала DuckDB сам генерирует два месяца вымышленных заказов — по 5 000 строк в каждом Parquet-файле. Затем создаётся озеро, и в него загружается январь. Служебная функция снапшотов показывает таблицу с номером версии, временем и кратким описанием изменений. Там, где другие форматы заставляют разбирать файлы, здесь достаточно обычного запроса.
Дальше данные меняют. Добавляют февраль, обновляют несколько сотен строк (заказы «в пути» помечают доставленными) и меняют схему таблицы. Каждое действие создаёт новый снапшот. Обновления работают как удаление плюс вставка: старые строки скрываются файлом удалений, а новые версии записываются отдельно. Смена схемы затрагивает только метаданные: Parquet-файлы не переписываются, а каталог сопоставляет старые файлы с новой формой таблицы.
Самое наглядное — путешествие во времени. Запрос с конструкцией AT (VERSION => номер) возвращает таблицу такой, какой она была в нужный момент, вместе со старыми названиями колонок. Можно обращаться и по времени, например «10 минут назад». Автор специально ломает данные: удаляет все заказы региона west, а потом вставляет их обратно из снапшота, где они ещё были. Счётчик возвращается к 10 000 строк. Чтобы не зашивать номера версий в код, скрипты сохраняют метки снапшотов в небольшой JSON-файл.
Обслуживание сводится к функции слияния мелких соседних файлов в крупные. Она объединяет только файлы с одной версией схемы.
Подводные камни
Автор отдельно предупреждает о нескольких вещах.
- DuckLake никогда не удаляет старые файлы сам: они нужны для time travel. Чтобы освободить место, нужно сначала удалить старые снапшоты, а потом почистить файлы. Но после этого вернуться к этим версиям уже нельзя, поэтому срок хранения надо задавать осознанно.
- Мелкие записи по умолчанию (до 10 строк) попадают прямо в каталог, а не в новый Parquet-файл. Позже их можно вынести отдельной функцией.
- Формат не поддерживает индексы, первичные и внешние ключи, а также ограничения UNIQUE и CHECK.
- Каталог в виде файла DuckDB рассчитан на одного клиента. Для нескольких пользователей создают озеро на PostgreSQL: меняется только строка подключения, остальные запросы остаются прежними.
Что дальше
В анонсе версии 1.0 упоминаются возможные направления для DuckLake 2.0: git-подобные ветки и инкрементальные материализованные представления. Это пока планы, а не обещания. Автор советует перед обновлением читать заметки к релизу 2.0.
Практический вывод для разработчиков и аналитиков такой. Если вам нужны версии таблиц, откат ошибок и эволюция схемы, но поднимать Spark или отдельный сервис метаданных не хочется, DuckLake даёт всё это на одном ноутбуке. Начать можно с локального файла, а когда команда вырастет, перенести каталог в PostgreSQL. Главное — заранее продумать политику очистки снапшотов.
- 12 нояб. 2026 г.AWS выложила шаблон data lake для Bedrock: видно каждый промпт, токен и его цену
- 30 апр. 2026 г.Алексей Селезнёв выпустил бесплатный видеокурс по R для разработки AI-инструментов
- 10 окт. 2026 г.ReviewScope ищет аномалии в отзывах через embeddings и графы на 21 тыс. текстов
- 8 нояб. 2026 г.Не программист повторил HackerTube Карпатого для Хабра: 388 роликов за вечер
Вопросы и ответы по материалу
Что известно по теме: как устроен DuckLake?
Идея простая. Сами данные лежат в Parquet-файлах в папке или в объектном хранилище. Всё остальное — список таблиц, схемы, снапшоты и статистика по файлам — живёт в каталоге, то есть в обычной SQL-базе. Другие lakehouse-форматы хранят эти сведения в служебных файлах, а здесь поиск нужных файлов превращается в один SQL-запрос. Каталогом может быть любая SQL-база с ACID-транзакциями и первичными ключами.
Что известно по теме: что показывает туториал?
Шесть скриптов запускаются по порядку. Сначала DuckDB сам генерирует два месяца вымышленных заказов — по 5 000 строк в каждом Parquet-файле. Затем создаётся озеро, и в него загружается январь. Служебная функция снапшотов показывает таблицу с номером версии, временем и кратким описанием изменений. Там, где другие форматы заставляют разбирать файлы, здесь достаточно обычного запроса. Дальше данные меняют.
Что известно по теме: подводные камни?
Автор отдельно предупреждает о нескольких вещах. DuckLake никогда не удаляет старые файлы сам: они нужны для time travel. Чтобы освободить место, нужно сначала удалить старые снапшоты, а потом почистить файлы. Но после этого вернуться к этим версиям уже нельзя, поэтому срок хранения надо задавать осознанно. Мелкие записи по умолчанию (до 10 строк) попадают прямо в каталог, а не в новый Parquet-файл. Позже их можно вынести отдельной функцией.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.