LanceDB: индекс IVF_PQ сжимает векторы для RAG в 64 раза и ускоряет поиск
Векторный поиск для RAG упирается в память: один эмбеддинг из 128 чисел float32 весит 4096 бит, а в базе их миллионы. Индекс IVF_PQ в LanceDB лечит это двумя приёмами: PQ режет вектор на куски и хранит вместо каждого номер похожего «типового» куска (8 номеров по 8 бит — 64 бита, в 64 раза меньше), а IVF делит пространство на ячейки и ищет только в ближайших. Поэтому при росте базы IVF_PQ стоит проверить на своих данных.
AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Любая RAG-система рано или поздно упирается в простую арифметику: эмбеддингов становится много, а хранить их «как есть» дорого. Один плотный вектор из 128 чисел float32 занимает 4096 бит, и в реальной базе таких векторов миллионы. Команда LanceDB в своём блоге разобрала индекс IVF_PQ, который решает сразу две задачи. Часть PQ (Product Quantization, «квантование по частям») сжимает каждый вектор: в примере авторов 4096 бит превращаются в 64 бита, то есть в 64 раза меньше. Часть IVF (Inverted File, «инвертированный файл») ускоряет поиск: система не перебирает всю базу, а смотрит только в ближайшие группы векторов.
Как PQ сжимает вектор в 64 раза
Представьте длинный адрес, который нужно записать коротко. Вы режете его на части, для каждой части заводите справочник типовых значений и пишете не саму часть, а номер строки из справочника. Product Quantization работает похоже.
Шагов три. Сначала большой вектор делится на равные куски, то есть подвекторы. Длина вектора должна делиться на число кусков без остатка. Затем для каждого куска находится ближайший центроид, то есть типичный представитель похожих кусков (авторы называют его reproduction value). Наконец, вместо самого центроида хранится его уникальный ID, по которому позже можно восстановить центроид.
В учебном примере вектор из 12 чисел делится на четыре куска по три числа и превращается в четыре ID. Пример игрушечный, и выигрыш там почти не виден. На реалистичных размерах картина другая. Вектор из 128 чисел float32 занимает 128×32 = 4096 бит. Если сжать его до восьми 8-битных ID, получится 8×8 = 64 бита. Разница в 64 раза.
Цена известна: восстановленный вектор не совпадает с оригиналом. Любое сжатие с потерями что-то теряет, и PQ не исключение. Поэтому поиск по таким векторам приближённый.
Как IVF сужает область поиска
PQ экономит память, но не отвечает на вопрос, сколько векторов нужно перебрать. Здесь подключается Inverted File. Пространство делится на партиции, в каждой лежат близкие друг к другу векторы. Автор иллюстрирует это диаграммой Вороного: набор «ячеек», где каждая точка относится к ближайшему центру.
Когда приходит запрос, система не сканирует всю базу. Она находит ближайшие ячейки и ищет только в них. Уже внутри этой выборки применяется PQ. Выходит грубый отбор, а затем поиск среди сжатых векторов. Чем меньше кандидатов, тем быстрее ответ.
Какие параметры крутить на практике
В LanceDB индекс создаётся несколькими строками: данные загружаются в таблицу, затем вызывается create_index с числом партиций. В примере блога используются 10 000 случайных векторов. Важная оговорка: для обучения индекса в таблице должно быть достаточно данных, иначе центроиды получатся плохими.
При поиске есть три основных параметра:
- limit, по умолчанию 10: сколько результатов вернуть.
- nprobes, по умолчанию 20: сколько партиций просмотреть. Чем больше значение, тем выше точность, но тем медленнее поиск. По совету авторов, чтобы получить высокий recall (долю найденных нужных результатов) при небольшой задержке, обычно достаточно покрыть 5–10% датасета.
- refine_factor, по умолчанию не задан: если включить, система читает дополнительные элементы и пересортировывает их в памяти. Точность растёт, скорость падает.
Что с этим делать и чего не стоит ждать
Если вы строите RAG или семантический поиск, а база растёт вместе со счетами за память и инфраструктуру, IVF_PQ стоит рассмотреть. Параметры nprobes и refine_factor позволяют менять точность на скорость без пересборки индекса.
Есть и честные ограничения. Материал образовательный: в нём нет бенчмарков на реальных данных, а цифра 64× следует из размеров векторов, а не из замеров качества поиска. Насколько просядет recall на ваших эмбеддингах, зависит от модели, размерности и числа партиций, и это придётся проверять на собственной выборке. Но как вводная в то, что стоит за словами «векторный индекс», и откуда берётся экономия памяти, текст полезен и инженерно конкретен.
- 27 окт. 2026 г.Qdrant 1.20 ищет по словам без эмбеддингов и ускоряет вложенные фильтры в 7–38 раз
- 19 нояб. 2026 г.WeRide с LanceDB сократила поиск редких опасных кадров для беспилотников с недели до часа
- 21 нояб. 2026 г.Квантизация в OpenVINO сократила время работы CLIP для LanceDB на 75,4% на CPU
- 21 нояб. 2026 г.Cognee хранит память агентов в LanceDB: у каждого теста своя папка вместо сервера
Вопросы и ответы по материалу
Что известно по теме: как PQ сжимает вектор в 64 раза?
Представьте длинный адрес, который нужно записать коротко. Вы режете его на части, для каждой части заводите справочник типовых значений и пишете не саму часть, а номер строки из справочника. Product Quantization работает похоже. Шагов три. Сначала большой вектор делится на равные куски, то есть подвекторы. Длина вектора должна делиться на число кусков без остатка. Затем для каждого куска находится ближайший центроид, то есть типичный представитель похожих кусков (авторы называют его reproduction value).
Что известно по теме: как IVF сужает область поиска?
PQ экономит память, но не отвечает на вопрос, сколько векторов нужно перебрать. Здесь подключается Inverted File. Пространство делится на партиции, в каждой лежат близкие друг к другу векторы. Автор иллюстрирует это диаграммой Вороного: набор «ячеек», где каждая точка относится к ближайшему центру. Когда приходит запрос, система не сканирует всю базу. Она находит ближайшие ячейки и ищет только в них. Уже внутри этой выборки применяется PQ. Выходит грубый отбор, а затем поиск среди сжатых векторов.
Что известно по теме: какие параметры крутить на практике?
В LanceDB индекс создаётся несколькими строками: данные загружаются в таблицу, затем вызывается create_index с числом партиций. В примере блога используются 10 000 случайных векторов. Важная оговорка: для обучения индекса в таблице должно быть достаточно данных, иначе центроиды получатся плохими. При поиске есть три основных параметра: limit, по умолчанию 10: сколько результатов вернуть. nprobes, по умолчанию 20: сколько партиций просмотреть. Чем больше значение, тем выше точность, но тем медленнее поиск.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.