В Lance появились ветки датасетов, как в Git: эксперименты не мешают продакшену
Экспериментировать на продакшен-датасете страшно: можно что-то испортить или замедлить рабочие запросы. В Lance у каждой ветки своя папка: новые файлы пишутся туда, а старые данные подтягиваются из основного датасета по ссылке, без копирования. Запись в ветку не конфликтует с продакшеном, а права можно разделить: основной датасет только на чтение. ML-командам это даёт эксперименты на живых данных без лишних копий.
AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Любой, кто готовил данные для обучения модели, знакомо с этой дилеммой. Датасет живой, на нём работает продакшен, а вам нужно попробовать новую разметку, другой набор признаков или аугментацию. Копировать терабайты неудобно и дорого. Экспериментировать прямо на боевой таблице рискованно. Автор Lance и один из создателей ветвления в Apache Iceberg предложил в блоге LanceDB способ, который должен убрать эту дилемму: ветки, теги и «мелкое клонирование» в одной модели.
Чем не устроили ветки в Iceberg и клоны в Delta
В Iceberg, где автор ещё в 2021 году придумал ветки и теги, всё устроено почти как в Git: в файле метаданных таблицы лежит список именованных ссылок на снапшоты. Теги защищают нужные версии от очистки, ветки позволяют накапливать изменения и проверять их перед публикацией. Для аудита и «записать, проверить, опубликовать» это работает хорошо. Для ML-экспериментов получилось хуже, и причин три.
Первая — производительность. Любая операция с любой веткой обновляет общий файл метаданных, поэтому частые записи в экспериментальную ветку конфликтуют с продакшен-коммитами и сбрасывают кэши чтения. Вторая — слабая изоляция: файлы веток лежат в той же папке с теми же правами доступа, так что нельзя разрешить продакшен только на чтение, а ветку только на запись. Третья — учёт: в аудите запросы к ветке и к продакшену не отличить, а место под эксперименты списывается на бюджет основной таблицы.
В Delta Lake с конца 2022 года есть shallow clone: создаётся отдельная таблица, которая ссылается на файлы исходной по абсолютным путям. У неё свои права, квоты и аудит, а новые данные пишутся в её собственную папку. Автор признаёт, что несколько лет считал это лучшей моделью.
Как устроено в Lance
Взгляд изменился, когда ByteDance и Netflix независимо попросили ветки в Lance для ИИ-экспериментов. Их аргументы такие. Ветка всегда связана с родительской таблицей, поэтому происхождение эксперимента видно без отдельной системы lineage. Все данные остаются внутри одного датасета, и очистка идёт по правилам срока жизни веток и тегов, так что клон нельзя случайно забыть, а это важно, например, для GDPR. И наконец, «создал ветку, поэкспериментировал, слил или выбросил» понятно любому разработчику.
В основе лежит multi-base — схема, где манифест датасета перечисляет несколько базовых путей, а каждый файл указывает, из какой базы его читать. Из неё получаются три элемента:
- Shallow clone. Новый независимый датасет с собственным расположением и историей версий. Унаследованные фрагменты читаются из источника через один базовый путь, а не через абсолютный путь для каждого файла, как в Delta. Данные не копируются, создаются только метаданные.
- Теги. Неизменяемые именованные указатели на версии, которые лежат в отдельных файлах. В Iceberg теги хранятся в метаданных таблицы и страдают от отката. В Lance откат версий их не затрагивает, а помеченные версии не удаляет сборщик мусора.
- Ветки. Это фактически мелкий клон внутри папки исходного датасета плюс запись о том, откуда ветка ответвилась.
Важное отличие от Git и Iceberg: Lance отслеживает ветку не по её последнему коммиту, а по месту создания. Метаданные ветки хранят только родительскую ветку и версию, с которой она началась. Все дальнейшие коммиты пишутся в собственную папку ветки со своими манифестами и файлами. Автор считает такой подход лучшим для таблиц с петабайтами данных и миллионами файлов.
Что это даёт на практике
Запись в ветку не трогает метаданные основной ветки, поэтому нет конфликтов коммитов и сброса кэшей. Данные ветки физически лежат в отдельной директории, и на уровне хранилища можно выдать права «читать продакшен, писать только в ветку». В аудите видно, какая активность относится к ветке, а расходы на хранение считаются по веткам. Кроме того, у каждой ветки своя полная история версий, и time travel работает внутри неё, чего в Iceberg нет. Можно создавать вложенные ветки, например два варианта A/B-теста от общей экспериментальной ветки.
В Python это выглядит привычно: записать датасет, поставить тег на версию («baseline», «training-v1»), открыть датасет на тегированной версии, создать ветку через create_branch, дописать туда экспериментальные данные. Основной датасет остаётся прежним.
Ограничения
Это описание дизайна от автора проекта, а не независимый бенчмарк. Цифр по скорости или экономии в материале нет, и как схема поведёт себя на больших нагрузках, покажет практика. Выигрыш получат прежде всего команды, которые уже хранят обучающие данные в Lance. Если вы живёте на Iceberg или Delta, полезнее посмотреть на сам принцип: для экспериментов нужна отдельная физическая папка с отдельными правами, а не только логическая метка в общей таблице.
- 21 нояб. 2026 г.LanceDB выпустила Realtime Engine: свежие данные доступны для поиска через 52 мс
- 26 мая 2026 г.Нейросеть Lance для видео: как работает универсальная ИИ-модель
- 21 нояб. 2026 г.Uber и LanceDB научили формат Lance делить датасет по бакетам: 5 путей вместо 10 млн
- 31 окт. 2026 г.SciGame проверил пять LLM-агентов: знакомые формулы мешают находить изменённые законы
Вопросы и ответы по материалу
Что известно по теме: чем не устроили ветки в Iceberg и клоны в Delta?
В Iceberg, где автор ещё в 2021 году придумал ветки и теги, всё устроено почти как в Git: в файле метаданных таблицы лежит список именованных ссылок на снапшоты. Теги защищают нужные версии от очистки, ветки позволяют накапливать изменения и проверять их перед публикацией. Для аудита и «записать, проверить, опубликовать» это работает хорошо. Для ML-экспериментов получилось хуже, и причин три. Первая — производительность.
Что известно по теме: как устроено в Lance?
Взгляд изменился, когда ByteDance и Netflix независимо попросили ветки в Lance для ИИ-экспериментов. Их аргументы такие. Ветка всегда связана с родительской таблицей, поэтому происхождение эксперимента видно без отдельной системы lineage. Все данные остаются внутри одного датасета, и очистка идёт по правилам срока жизни веток и тегов, так что клон нельзя случайно забыть, а это важно, например, для GDPR. И наконец, «создал ветку, поэкспериментировал, слил или выбросил» понятно любому разработчику.
Что известно по теме: что это даёт на практике?
Запись в ветку не трогает метаданные основной ветки, поэтому нет конфликтов коммитов и сброса кэшей. Данные ветки физически лежат в отдельной директории, и на уровне хранилища можно выдать права «читать продакшен, писать только в ветку». В аудите видно, какая активность относится к ветке, а расходы на хранение считаются по веткам. Кроме того, у каждой ветки своя полная история версий, и time travel работает внутри неё, чего в Iceberg нет.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.