Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуLanceDB Blog→ оригинал

LanceDB выпустила Realtime Engine: свежие данные доступны для поиска через 52 мс

В обычных озёрах данных запись ждёт пакетного коммита, поэтому кадр, сохранённый секунду назад, не найти в поиске. LanceDB добавила в Enterprise-версию Realtime Engine: строка подтверждается после сохранения в хранилище S3 и читается в среднем через 52 мс. Поиск по свежим строкам занимает 15–28 мс для текста и 26–30 мс для векторов. Для живых датасетов робототехники и RL можно обойтись без отдельного поискового сервиса.

AI-обработка оригинала LanceDB Blog; редакция Hamidun News
LanceDB выпустила Realtime Engine: свежие данные доступны для поиска через 52 мс
Источник: LanceDB Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLanceDB Blog ↗
Главный редактор
Ключевой факт #1Запись растёт с 79–83 МБ/с на одном шарде до 312–334 МБ/с на четырёх
Ключевой факт #2Формат MemWAL на базе LSM-дерева открыт и входит в спецификацию Lance
Ключевой факт #3На LAION все индексы дают 289 МБ/с против 314 МБ/с с одним индексом

Представьте инженера, который разбирает неудачный захват робота-манипулятора. Кадр сохранён секунду назад, но в таблице его ещё нет: система ждёт, пока наберётся пакет данных и пройдёт коммит, то есть публикация новой версии таблицы. Так же страдает исследователь, который обучает модель с подкреплением (RL) и хочет посмотреть прогон, завершившийся мгновение назад. Компания LanceDB выпустила для платной версии LanceDB Enterprise движок Realtime Engine, который убирает это ожидание. По её замерам, медианное время от момента, когда запись надёжно сохранена в облачном хранилище S3, до момента, когда строку можно прочитать, составляет 52 миллисекунды.

В чём проблема пакетных озёр данных

Современные lakehouse-системы (озёра данных, где таблицы лежат файлами в объектном хранилище вроде S3) строились вокруг больших пакетных коммитов. Данные собираются, записываются колоночными файлами, после чего публикуется новая версия таблицы. Хранить и сканировать так большие объёмы дёшево, но для потоков возникает неудобный выбор. Если коммитить часто, копятся мелкие файлы и обновления метаданных. Если ждать большой пакет, читатели ждут вместе с писателями.

Для ИИ-задач это особенно заметно. Парки роботов непрерывно выдают изображения и показания датчиков, а пайплайны разметки добавляют метки и эмбеддинги. Исправленная метка должна сразу влиять на следующий фильтр, а пересчитанный эмбеддинг должен попадать в следующий векторный поиск. В RL-обучении воркеры пишут траектории, грейдеры добавляют награды, а обучающий процесс забирает готовые примеры. Всё это идёт параллельно и без остановок.

Обычное решение — поставить перед озером буфер записи или отдельный поисковый сервис. LanceDB указывает на минусы такого подхода: приём данных часто работает только на добавление строк, векторные и полнотекстовые индексы поддерживаются слабо, а сами данные привязаны к вендору. Пока они лежат в закрытом буфере, другие движки не могут читать их через открытый формат таблицы. Надёжность при этом нередко зависит от репликации в самом буфере, а не от объектного хранилища.

Как устроен Realtime Engine

В основе лежит формат MemWAL, часть табличного формата Lance. Он добавляет к Lance LSM-дерево (структуру, которая сначала быстро принимает записи в память и журнал, а потом сливает их в основное хранилище) поверх объектного хранилища. Новая запись попадает на узел движка. Узел сохраняет её в журнал упреждающей записи (write-ahead log) в объектном хранилище и добавляет в индексированный буфер в памяти — MemTable. Ответ об успехе приходит только после того, как данные надёжно сохранены, поэтому при падении узла подтверждённые записи не теряются.

Заполненные MemTable сбрасываются в индексированные файлы Lance (SSTable) и в фоне сливаются с основной таблицей. Каждый шард, то есть отдельная часть таблицы, пишет независимо. Поэтому общего коммита на всю таблицу для каждой записи нет, а приём данных масштабируется добавлением шардов и узлов. Запросы смотрят сразу в MemTable, SSTable и базовую таблицу, так что свежие и старые данные ищутся одним запросом. Пока индексы базовой таблицы догоняют изменения, запросы используют индексы SSTable, и новые строки из выдачи не пропадают.

Компакция (слияние мелких файлов), обновление индексов и сборка мусора идут на отдельных воркерах и масштабируются независимо от приёма и запросов. Если таблица получает тяжёлую постоянную нагрузку, под неё добавляют воркеры обслуживания.

Что показали замеры

Цифры получены самой LanceDB на Amazon EKS на публичных наборах FineWeb-Edu (веб-тексты), MS MARCO (поисковые отрывки) и LAION (пары «картинка — текст»). Это не независимая проверка. Запись засчитывалась только после сохранения в S3, и в каждом прогоне проверялось, что в таблице оказались ровно подтверждённые строки. Один узел имел 30 vCPU и 112 ГиБ памяти.

  • Медианное время от надёжной записи в S3 до читаемой строки — 52 мс.
  • Запись с живым индексом по первичному ключу выросла с 79–83 МБ/с на одном шарде до 312–334 МБ/с на четырёх шардах одного узла.
  • Медианная задержка запросов к свежим строкам во время приёма данных: 15–28 мс для полнотекстового поиска и 26–30 мс для векторного.
  • Запись в таблицу, где уже лежал весь корпус FineWeb-Edu или MS MARCO, шла не медленнее, чем в маленькую. Старые данные остаются доступными для поиска, пока приходят новые.

Живой индекс стоит процессорного времени, и цена зависит от данных. На LAION основной объём строки занимает картинка, поэтому поддержка всех индексов почти не мешает: 289 МБ/с против 314 МБ/с с одним индексом по первичному ключу. Длинные текстовые документы требуют больше работы полнотекстового индекса на каждый записанный байт. Поэтому для каждой таблицы можно выбрать, какие индексы держать живыми, и найти баланс между скоростью записи и скоростью запросов к новым данным. Картинки движок может писать сразу в объектное хранилище, оставляя в памяти только ссылку, чтобы снизить расход памяти узла.

Что это значит для практиков

Если вы собираете датасеты из потока данных робототехники или гоняете RL-пайплайны, Realtime Engine убирает лишний слой: отдельный поисковый сервис и синхронизацию с ним. Ограничения тоже понятны. Это функция платной Enterprise-версии, лучшие результаты показаны на конфигурации с несколькими шардами, а удержание высокой скорости записи в течение часов зависит от того, успевают ли воркеры обслуживания. Сам формат MemWAL открыт и описан в спецификации Lance, так что совместимые читатели и писатели могут работать с теми же данными. Прежде чем переходить, прогоните собственную нагрузку: на длинных текстах цена живых индексов будет выше, чем на изображениях.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: в чём проблема пакетных озёр данных?

Современные lakehouse-системы (озёра данных, где таблицы лежат файлами в объектном хранилище вроде S3) строились вокруг больших пакетных коммитов. Данные собираются, записываются колоночными файлами, после чего публикуется новая версия таблицы. Хранить и сканировать так большие объёмы дёшево, но для потоков возникает неудобный выбор. Если коммитить часто, копятся мелкие файлы и обновления метаданных. Если ждать большой пакет, читатели ждут вместе с писателями. Для ИИ-задач это особенно заметно.

Что известно по теме: как устроен Realtime Engine?

В основе лежит формат MemWAL, часть табличного формата Lance. Он добавляет к Lance LSM-дерево (структуру, которая сначала быстро принимает записи в память и журнал, а потом сливает их в основное хранилище) поверх объектного хранилища. Новая запись попадает на узел движка. Узел сохраняет её в журнал упреждающей записи (write-ahead log) в объектном хранилище и добавляет в индексированный буфер в памяти — MemTable.

Что известно по теме: что показали замеры?

Цифры получены самой LanceDB на Amazon EKS на публичных наборах FineWeb-Edu (веб-тексты), MS MARCO (поисковые отрывки) и LAION (пары «картинка — текст»). Это не независимая проверка. Запись засчитывалась только после сохранения в S3, и в каждом прогоне проверялось, что в таблице оказались ровно подтверждённые строки. Один узел имел 30 vCPU и 112 ГиБ памяти. Медианное время от надёжной записи в S3 до читаемой строки — 52 мс.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…