Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизНаучная статья · В песочницуLanceDB Blog→ оригинал

Uber и LanceDB научили формат Lance делить датасет по бакетам: 5 путей вместо 10 млн

Когда тысячи читателей разом тянут данные для обучения модели, один S3-бакет (облачное хранилище) становится узким местом. Uber попросил LanceDB раскидать датасет по нескольким бакетам без потери переносимости. В манифесте Lance теперь лежит короткий список «баз» — общих начал путей, а каждый файл хранит лишь номер базы и относительный путь. Поэтому датасет из 10 млн файлов в 5 бакетах переносят заменой 5 строк, а не 10 млн.

AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Uber и LanceDB научили формат Lance делить датасет по бакетам: 5 путей вместо 10 млн
Источник: LanceDB Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLanceDB Blog ↗
Главный редактор
Ключевой факт #1Запись идёт по кругу по бакетам, чтение — параллельно из всех
Ключевой факт #2Сборка мусора и выдача доступов перебирают базы, а не файлы
Ключевой факт #3Базу можно пометить корнем датасета (для клонов) или папкой с файлами

Представьте, что вам нужно переехать с одного облачного хранилища на другое, а в метаданных таблицы записаны полные адреса десяти миллионов файлов. Каждый адрес придётся переписать. Именно эту боль решали в LanceDB вместе с AI-инфраструктурой Uber. Задача звучала так: разложить один датасет по нескольким S3-бакетам (бакет — это корневое «ведро» в облачном хранилище), чтобы данные быстрее читались при обучении моделей, и при этом не потерять возможность переносить датасет почти бесплатно.

Проблема: один бакет не выдерживает тысячи читателей

У Uber мультимодальные данные для обучения моделей и агентного поиска лежат в датасетах петабайтного масштаба. К ним одновременно обращаются тысячи читателей, и один бакет быстро становится узким местом. Поэтому инженеры хотели разложить один датасет на N бакетов. Новые файлы записываются по кругу в разные бакеты, а чтение идёт параллельно из всех. Цель — увеличить суммарную пропускную способность примерно в N раз.

Загвоздка в путях. Если все пути относительные, сослаться на файл за пределами папки датасета нельзя. Если сделать их абсолютными, при любом переезде метаданные приходится переписывать целиком. Uber нужно было и то и другое: несколько мест хранения и максимальная переносимость.

Урок Iceberg и Delta: гибриды получаются неудобными

Автор поста работал над Apache Iceberg, Delta Lake и теперь над Lance. Он напоминает, что два формата прошли путь в противоположных направлениях.

Iceberg начинал с абсолютных путей. Они однозначны, но при миграции приходится переписывать метаданные с тысячами или миллионами путей. Обсуждение относительных путей началось в 2021 году, а в конце 2025-го сообщество сошлось на дизайне для версии 4: пути без схемы URI считаются относительными к расположению таблицы.

Delta Lake, наоборот, в сентябре 2019 года начал с относительных путей, а в августе 2021-го разрешил абсолютные. Это нужно для shallow clone (появился в декабре 2022-го): новая таблица ссылается на файлы старой, не копируя их, а файлы лежат вне корня новой таблицы.

В итоге оба формата стали гибридами, и автор видит у этого три минуса:

  • гибкость абсолютных путей почти не используется, файлы обычно лежат под корнем таблицы;
  • сборку мусора усложняет то, что нельзя безопасно удалить каталог, если на его файлы ссылаются из другого места;
  • выдать временные credentials трудно, ведь надо найти все префиксы среди сотен миллионов записей в манифестах.

Обещание «ноль переписываний» работает только для новых таблиц в одном месте с чисто относительными путями. Клоны, импорт файлов, многоуровневое хранение и раскладка по бакетам его ломают.

Как работает multi-base в Lance

В Lance все пути относительные, а структура каталогов задана спецификацией: файлы данных .lance, манифесты .manifest, транзакции *.txn, векторы удалений и индексы. Скопируйте датасет с локального диска в s3://bucket/dataset, и он сразу работает без правки метаданных.

Новая идея опирается на наблюдение: даже если на таблицу ссылаются миллионы файлов, различных общих префиксов в ней мало. Их назвали «базами» и вынесли в манифест отдельным массивом. Теперь файл хранит ссылку на базу плюс относительный путь. Отсюда следуют практические выгоды:

  • явная структура: не нужно сканировать миллионы путей, чтобы узнать, где лежат данные;
  • дешёвый перенос: датасет с 10 млн файлов в 5 бакетах требует замены 5 строк, а не 10 млн;
  • гибкий переезд: можно переносить вместе только выбранные базы, а остальные оставить на месте;
  • простое обслуживание: сборка мусора и выдача credentials перебирают список баз, а не список файлов.

В спецификации у каждой базы есть признак, который определяет, как разрешать путь. Если база — корень датасета, внутри неё действуют стандартные подкаталоги, и так можно ссылаться на целые датасеты, например для shallow clone. Если нет, база указывает прямо на папку с файлами без подкаталогов, и это подходит для раскладки по бакетам, как у Uber.

Что важно помнить

Это рассказ разработчика Lance о собственном решении, а не независимое сравнение форматов. Реальных замеров прироста пропускной способности у Uber в доступной части поста нет, есть только цель «примерно в N раз». Окончание публикации в исходнике обрезано, поэтому детали записи и связи multi-base с клонами здесь не разобраны.

Практический вывод для тех, кто строит датасеты под обучение и агентный поиск: если данные придётся делить между бакетами и регионами, выбирайте формат, где префиксы хранятся явно. Тогда переезд и уборка мусора работают с короткой таблицей баз, а не с миллионами строк.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: проблема: один бакет не выдерживает тысячи читателей?

У Uber мультимодальные данные для обучения моделей и агентного поиска лежат в датасетах петабайтного масштаба. К ним одновременно обращаются тысячи читателей, и один бакет быстро становится узким местом. Поэтому инженеры хотели разложить один датасет на N бакетов. Новые файлы записываются по кругу в разные бакеты, а чтение идёт параллельно из всех. Цель — увеличить суммарную пропускную способность примерно в N раз. Загвоздка в путях.

Что известно по теме: урок Iceberg и Delta: гибриды получаются неудобными?

Автор поста работал над Apache Iceberg, Delta Lake и теперь над Lance. Он напоминает, что два формата прошли путь в противоположных направлениях. Iceberg начинал с абсолютных путей. Они однозначны, но при миграции приходится переписывать метаданные с тысячами или миллионами путей. Обсуждение относительных путей началось в 2021 году, а в конце 2025-го сообщество сошлось на дизайне для версии 4: пути без схемы URI считаются относительными к расположению таблицы.

Что известно по теме: как работает multi-base в Lance?

В Lance все пути относительные, а структура каталогов задана спецификацией: файлы данных .lance, манифесты .manifest, транзакции .txn, векторы удалений и индексы. Скопируйте датасет с локального диска в s3://bucket/dataset, и он сразу работает без правки метаданных. Новая идея опирается на наблюдение: даже если на таблицу ссылаются миллионы файлов, различных общих префиксов в ней мало. Их назвали «базами» и вынесли в манифест отдельным массивом. Теперь файл хранит ссылку на базу плюс относительный путь.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…