Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарLanceDB Blog→ оригинал

WeRide с LanceDB сократила поиск редких опасных кадров для беспилотников с недели до часа

Редкие ситуации, например человек на дороге, нужны беспилотнику для обучения, но найти их среди миллиардов кадров обычным SQL нельзя. WeRide подключила векторную базу LanceDB: инженер вводит фразу или картинку и за миллисекунды получает 1000 похожих кадров. Сбор таких опасных случаев сократился с 1 недели до 1 часа. Если у вас много неразмеченных картинок, смысловой поиск быстро окупится.

AI-обработка оригинала LanceDB Blog; редакция Hamidun News
WeRide с LanceDB сократила поиск редких опасных кадров для беспилотников с недели до часа
Источник: LanceDB Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLanceDB Blog ↗
Главный редактор
P99 в миллисекундах99% запросов по миллиардам записей укладываются в лимит
Ключевой факт #2Индекс пересобирается раз в неделю и раз в месяц, свежесть не критична
Ключевой факт #3Эмбеддинги и метаданные лежат в собственном хранилище WeRide

Беспилотнику труднее всего не обычная дорога, а редкие опасные ситуации: например, человек лежит на проезжей части. Таких эпизодов в записях с камер, радаров и лидаров ничтожно мало, а модель на них учится хуже всего. Раньше инженерам WeRide на то, чтобы собрать такие случаи для обучения, уходила целая неделя. После внедрения векторной базы данных LanceDB (она ищет не по точным значениям в столбцах, а по смыслу картинки или фразы) этот процесс занимает около часа. Для любой команды, у которой много изображений, видео или других «тяжёлых» данных без ручной разметки, это наглядный пример того, как поиск ускоряет весь цикл «нашли проблему — собрали данные — переобучили».

Почему обычный SQL не подошёл

WeRide, компания с листингом на Nasdaq, разрабатывает технологии автономного вождения уровней со 2-го по 4-й. Она ведёт исследования, тесты и эксплуатацию более чем в 30 городах семи стран, а её беспилотный парк работает больше 1700 дней. Это постоянный поток мультимодальных данных. В 2023 году команду инфраструктуры данных возглавил Фэй Чэнь, и перед ней стояла задача: быстро находить данные под конкретный критерий, прежде всего редкие примеры для «длинного хвоста» сценариев.

SQL здесь бессилен. Запрос «найди кадры, где человек лежит на земле» нельзя записать условием по столбцам, если такой разметки в таблице нет. Поэтому картинки и текст превращают в векторы (эмбеддинги), а база ищет ближайшие по смыслу.

Требования к платформе были жёсткими:

  • задержка P99 в миллисекундах (то есть 99% запросов укладываются в этот предел) при выдаче топ-1000 результатов по текстовому или картиночному запросу и миллиардах записей;
  • векторный поиск вместе с фильтрами по метаданным;
  • минимальное потребление пропускной способности, чтобы не мешать быстрому хранилищу, которое кормит обучение моделей;
  • разумная цена и простое сопровождение при росте данных.

Как устроен конвейер

Изображения и видео с машин превращаются в векторы. Они вместе с метаданными загружаются в LanceDB, которая работает поверх собственного кластера хранения, построенного той же командой инфраструктуры. LanceDB индексирует данные для быстрого поиска. Новые данные поступают постоянно, поэтому переиндексация запускается по расписанию: раз в неделю и раз в месяц. Это практичный компромисс: индекс не обновляется мгновенно, зато система проще и дешевле.

Сам поиск выглядит так. Инженер вводит текст вроде «человек лежит на дороге» или показывает картинку-образец. Запрос превращается в эмбеддинг, база находит похожие векторы и одновременно применяет фильтры по полям метаданных. Топ-1000 результатов проходит этап подготовки признаков (feature engineering) и попадает в обучающую выборку.

Что получила компания и какие есть оговорки

Главная цифра кейса: добыча данных по критичным для безопасности редким случаям сократилась с 1 недели до 1 часа. Кроме того, WeRide сообщает о росте продуктивности ML-разработчиков при исследовании данных и отладке, а также о сокращении времени обучения моделей за счёт более эффективного ввода-вывода данных. В тексте кейса конкретные проценты этих двух улучшений не приведены, поэтому оценить их масштаб нельзя.

Оговорка очевидна: материал опубликован в блоге самого вендора совместно с заказчиком. Независимого сравнения с другими векторными базами нет, не указаны стоимость кластера и точность поиска. Фразы о том, что LanceDB станет «незаменимым инструментом», стоит читать как маркетинг. Команда также рассчитывает применять базу для анализа стиля вождения и персонализации поездок.

Что взять себе

Во-первых, формулируйте требования к векторной базе через P99-задержку, фильтры по метаданным и нагрузку на хранилище, а не через красивые бенчмарки на чужих датасетах. В продакшене почти никто не ищет по «чистому» вектору, фильтры нужны всегда.

Во-вторых, если данные идут на обучение, а не на ответ пользователю в реальном времени, переиндексации по расписанию (раз в неделю или месяц) обычно достаточно.

В-третьих, оценивайте ценность поиска не миллисекундами, а длиной цикла работы команды. Сжатие сбора редких примеров с недели до часа даёт больше, чем ускорение самого обучения. Этот подход применим и к роботам, медицинским снимкам, видеонаблюдению и любым продуктам, где качество упирается в редкие случаи.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему обычный SQL не подошёл?

WeRide, компания с листингом на Nasdaq, разрабатывает технологии автономного вождения уровней со 2-го по 4-й. Она ведёт исследования, тесты и эксплуатацию более чем в 30 городах семи стран, а её беспилотный парк работает больше 1700 дней. Это постоянный поток мультимодальных данных. В 2023 году команду инфраструктуры данных возглавил Фэй Чэнь, и перед ней стояла задача: быстро находить данные под конкретный критерий, прежде всего редкие примеры для «длинного хвоста» сценариев. SQL здесь бессилен.

Что известно по теме: как устроен конвейер?

Изображения и видео с машин превращаются в векторы. Они вместе с метаданными загружаются в LanceDB, которая работает поверх собственного кластера хранения, построенного той же командой инфраструктуры. LanceDB индексирует данные для быстрого поиска. Новые данные поступают постоянно, поэтому переиндексация запускается по расписанию: раз в неделю и раз в месяц. Это практичный компромисс: индекс не обновляется мгновенно, зато система проще и дешевле. Сам поиск выглядит так.

Что известно по теме: что получила компания и какие есть оговорки?

Главная цифра кейса: добыча данных по критичным для безопасности редким случаям сократилась с 1 недели до 1 часа. Кроме того, WeRide сообщает о росте продуктивности ML-разработчиков при исследовании данных и отладке, а также о сокращении времени обучения моделей за счёт более эффективного ввода-вывода данных. В тексте кейса конкретные проценты этих двух улучшений не приведены, поэтому оценить их масштаб нельзя. Оговорка очевидна: материал опубликован в блоге самого вендора совместно с заказчиком.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…