Uber и LanceDB научили формат Lance делить датасет по бакетам: 5 путей вместо 10 млн
Когда тысячи читателей разом тянут данные для обучения модели, один S3-бакет (облачное хранилище) становится узким местом. Uber попросил LanceDB раскидать датасет по нескольким бакетам без потери переносимости. В манифесте Lance теперь лежит короткий список «баз» — общих начал путей, а каждый файл хранит лишь номер базы и относительный путь. Поэтому датасет из 10 млн файлов в 5 бакетах переносят заменой 5 строк, а не 10 млн.
AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Представьте, что вам нужно переехать с одного облачного хранилища на другое, а в метаданных таблицы записаны полные адреса десяти миллионов файлов. Каждый адрес придётся переписать. Именно эту боль решали в LanceDB вместе с AI-инфраструктурой Uber. Задача звучала так: разложить один датасет по нескольким S3-бакетам (бакет — это корневое «ведро» в облачном хранилище), чтобы данные быстрее читались при обучении моделей, и при этом не потерять возможность переносить датасет почти бесплатно.
Проблема: один бакет не выдерживает тысячи читателей
У Uber мультимодальные данные для обучения моделей и агентного поиска лежат в датасетах петабайтного масштаба. К ним одновременно обращаются тысячи читателей, и один бакет быстро становится узким местом. Поэтому инженеры хотели разложить один датасет на N бакетов. Новые файлы записываются по кругу в разные бакеты, а чтение идёт параллельно из всех. Цель — увеличить суммарную пропускную способность примерно в N раз.
Загвоздка в путях. Если все пути относительные, сослаться на файл за пределами папки датасета нельзя. Если сделать их абсолютными, при любом переезде метаданные приходится переписывать целиком. Uber нужно было и то и другое: несколько мест хранения и максимальная переносимость.
Урок Iceberg и Delta: гибриды получаются неудобными
Автор поста работал над Apache Iceberg, Delta Lake и теперь над Lance. Он напоминает, что два формата прошли путь в противоположных направлениях.
Iceberg начинал с абсолютных путей. Они однозначны, но при миграции приходится переписывать метаданные с тысячами или миллионами путей. Обсуждение относительных путей началось в 2021 году, а в конце 2025-го сообщество сошлось на дизайне для версии 4: пути без схемы URI считаются относительными к расположению таблицы.
Delta Lake, наоборот, в сентябре 2019 года начал с относительных путей, а в августе 2021-го разрешил абсолютные. Это нужно для shallow clone (появился в декабре 2022-го): новая таблица ссылается на файлы старой, не копируя их, а файлы лежат вне корня новой таблицы.
В итоге оба формата стали гибридами, и автор видит у этого три минуса:
- гибкость абсолютных путей почти не используется, файлы обычно лежат под корнем таблицы;
- сборку мусора усложняет то, что нельзя безопасно удалить каталог, если на его файлы ссылаются из другого места;
- выдать временные credentials трудно, ведь надо найти все префиксы среди сотен миллионов записей в манифестах.
Обещание «ноль переписываний» работает только для новых таблиц в одном месте с чисто относительными путями. Клоны, импорт файлов, многоуровневое хранение и раскладка по бакетам его ломают.
Как работает multi-base в Lance
В Lance все пути относительные, а структура каталогов задана спецификацией: файлы данных .lance, манифесты .manifest, транзакции *.txn, векторы удалений и индексы. Скопируйте датасет с локального диска в s3://bucket/dataset, и он сразу работает без правки метаданных.
Новая идея опирается на наблюдение: даже если на таблицу ссылаются миллионы файлов, различных общих префиксов в ней мало. Их назвали «базами» и вынесли в манифест отдельным массивом. Теперь файл хранит ссылку на базу плюс относительный путь. Отсюда следуют практические выгоды:
- явная структура: не нужно сканировать миллионы путей, чтобы узнать, где лежат данные;
- дешёвый перенос: датасет с 10 млн файлов в 5 бакетах требует замены 5 строк, а не 10 млн;
- гибкий переезд: можно переносить вместе только выбранные базы, а остальные оставить на месте;
- простое обслуживание: сборка мусора и выдача credentials перебирают список баз, а не список файлов.
В спецификации у каждой базы есть признак, который определяет, как разрешать путь. Если база — корень датасета, внутри неё действуют стандартные подкаталоги, и так можно ссылаться на целые датасеты, например для shallow clone. Если нет, база указывает прямо на папку с файлами без подкаталогов, и это подходит для раскладки по бакетам, как у Uber.
Что важно помнить
Это рассказ разработчика Lance о собственном решении, а не независимое сравнение форматов. Реальных замеров прироста пропускной способности у Uber в доступной части поста нет, есть только цель «примерно в N раз». Окончание публикации в исходнике обрезано, поэтому детали записи и связи multi-base с клонами здесь не разобраны.
Практический вывод для тех, кто строит датасеты под обучение и агентный поиск: если данные придётся делить между бакетами и регионами, выбирайте формат, где префиксы хранятся явно. Тогда переезд и уборка мусора работают с короткой таблицей баз, а не с миллионами строк.
- 21 нояб. 2026 г.В Lance появились ветки датасетов, как в Git: эксперименты не мешают продакшену
- 21 нояб. 2026 г.LanceDB выпустила Realtime Engine: свежие данные доступны для поиска через 52 мс
- 21 нояб. 2026 г.LanceDB привлёк $57,5 млн на базу данных для обучения моделей на видео и фото
- 21 нояб. 2026 г.Netflix сложил видео и звук в одну таблицу LanceDB: 5 млн операций диска в секунду
Вопросы и ответы по материалу
Что известно по теме: проблема: один бакет не выдерживает тысячи читателей?
У Uber мультимодальные данные для обучения моделей и агентного поиска лежат в датасетах петабайтного масштаба. К ним одновременно обращаются тысячи читателей, и один бакет быстро становится узким местом. Поэтому инженеры хотели разложить один датасет на N бакетов. Новые файлы записываются по кругу в разные бакеты, а чтение идёт параллельно из всех. Цель — увеличить суммарную пропускную способность примерно в N раз. Загвоздка в путях.
Что известно по теме: урок Iceberg и Delta: гибриды получаются неудобными?
Автор поста работал над Apache Iceberg, Delta Lake и теперь над Lance. Он напоминает, что два формата прошли путь в противоположных направлениях. Iceberg начинал с абсолютных путей. Они однозначны, но при миграции приходится переписывать метаданные с тысячами или миллионами путей. Обсуждение относительных путей началось в 2021 году, а в конце 2025-го сообщество сошлось на дизайне для версии 4: пути без схемы URI считаются относительными к расположению таблицы.
Что известно по теме: как работает multi-base в Lance?
В Lance все пути относительные, а структура каталогов задана спецификацией: файлы данных .lance, манифесты .manifest, транзакции .txn, векторы удалений и индексы. Скопируйте датасет с локального диска в s3://bucket/dataset, и он сразу работает без правки метаданных. Новая идея опирается на наблюдение: даже если на таблицу ссылаются миллионы файлов, различных общих префиксов в ней мало. Их назвали «базами» и вынесли в манифест отдельным массивом. Теперь файл хранит ссылку на базу плюс относительный путь.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.