Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоНаучная статья · В песочницуLanceDB Blog→ оригинал

LanceDB: индекс IVF_PQ сжимает векторы для RAG в 64 раза и ускоряет поиск

Векторный поиск для RAG упирается в память: один эмбеддинг из 128 чисел float32 весит 4096 бит, а в базе их миллионы. Индекс IVF_PQ в LanceDB лечит это двумя приёмами: PQ режет вектор на куски и хранит вместо каждого номер похожего «типового» куска (8 номеров по 8 бит — 64 бита, в 64 раза меньше), а IVF делит пространство на ячейки и ищет только в ближайших. Поэтому при росте базы IVF_PQ стоит проверить на своих данных.

AI-обработка оригинала LanceDB Blog; редакция Hamidun News
LanceDB: индекс IVF_PQ сжимает векторы для RAG в 64 раза и ускоряет поиск
Источник: LanceDB Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLanceDB Blog ↗
Главный редактор
Ключевой факт #1128 чисел float32 (4096 бит) превращаются в 8 ID по 8 бит — 64 бита
Ключевой факт #2nprobes по умолчанию 20; для высокого recall хватает 5–10% датасета
Ключевой факт #3refine_factor пересчитывает кандидатов в памяти: точнее, но медленнее

Любая RAG-система рано или поздно упирается в простую арифметику: эмбеддингов становится много, а хранить их «как есть» дорого. Один плотный вектор из 128 чисел float32 занимает 4096 бит, и в реальной базе таких векторов миллионы. Команда LanceDB в своём блоге разобрала индекс IVF_PQ, который решает сразу две задачи. Часть PQ (Product Quantization, «квантование по частям») сжимает каждый вектор: в примере авторов 4096 бит превращаются в 64 бита, то есть в 64 раза меньше. Часть IVF (Inverted File, «инвертированный файл») ускоряет поиск: система не перебирает всю базу, а смотрит только в ближайшие группы векторов.

Как PQ сжимает вектор в 64 раза

Представьте длинный адрес, который нужно записать коротко. Вы режете его на части, для каждой части заводите справочник типовых значений и пишете не саму часть, а номер строки из справочника. Product Quantization работает похоже.

Шагов три. Сначала большой вектор делится на равные куски, то есть подвекторы. Длина вектора должна делиться на число кусков без остатка. Затем для каждого куска находится ближайший центроид, то есть типичный представитель похожих кусков (авторы называют его reproduction value). Наконец, вместо самого центроида хранится его уникальный ID, по которому позже можно восстановить центроид.

В учебном примере вектор из 12 чисел делится на четыре куска по три числа и превращается в четыре ID. Пример игрушечный, и выигрыш там почти не виден. На реалистичных размерах картина другая. Вектор из 128 чисел float32 занимает 128×32 = 4096 бит. Если сжать его до восьми 8-битных ID, получится 8×8 = 64 бита. Разница в 64 раза.

Цена известна: восстановленный вектор не совпадает с оригиналом. Любое сжатие с потерями что-то теряет, и PQ не исключение. Поэтому поиск по таким векторам приближённый.

Как IVF сужает область поиска

PQ экономит память, но не отвечает на вопрос, сколько векторов нужно перебрать. Здесь подключается Inverted File. Пространство делится на партиции, в каждой лежат близкие друг к другу векторы. Автор иллюстрирует это диаграммой Вороного: набор «ячеек», где каждая точка относится к ближайшему центру.

Когда приходит запрос, система не сканирует всю базу. Она находит ближайшие ячейки и ищет только в них. Уже внутри этой выборки применяется PQ. Выходит грубый отбор, а затем поиск среди сжатых векторов. Чем меньше кандидатов, тем быстрее ответ.

Какие параметры крутить на практике

В LanceDB индекс создаётся несколькими строками: данные загружаются в таблицу, затем вызывается create_index с числом партиций. В примере блога используются 10 000 случайных векторов. Важная оговорка: для обучения индекса в таблице должно быть достаточно данных, иначе центроиды получатся плохими.

При поиске есть три основных параметра:

  • limit, по умолчанию 10: сколько результатов вернуть.
  • nprobes, по умолчанию 20: сколько партиций просмотреть. Чем больше значение, тем выше точность, но тем медленнее поиск. По совету авторов, чтобы получить высокий recall (долю найденных нужных результатов) при небольшой задержке, обычно достаточно покрыть 5–10% датасета.
  • refine_factor, по умолчанию не задан: если включить, система читает дополнительные элементы и пересортировывает их в памяти. Точность растёт, скорость падает.

Что с этим делать и чего не стоит ждать

Если вы строите RAG или семантический поиск, а база растёт вместе со счетами за память и инфраструктуру, IVF_PQ стоит рассмотреть. Параметры nprobes и refine_factor позволяют менять точность на скорость без пересборки индекса.

Есть и честные ограничения. Материал образовательный: в нём нет бенчмарков на реальных данных, а цифра 64× следует из размеров векторов, а не из замеров качества поиска. Насколько просядет recall на ваших эмбеддингах, зависит от модели, размерности и числа партиций, и это придётся проверять на собственной выборке. Но как вводная в то, что стоит за словами «векторный индекс», и откуда берётся экономия памяти, текст полезен и инженерно конкретен.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как PQ сжимает вектор в 64 раза?

Представьте длинный адрес, который нужно записать коротко. Вы режете его на части, для каждой части заводите справочник типовых значений и пишете не саму часть, а номер строки из справочника. Product Quantization работает похоже. Шагов три. Сначала большой вектор делится на равные куски, то есть подвекторы. Длина вектора должна делиться на число кусков без остатка. Затем для каждого куска находится ближайший центроид, то есть типичный представитель похожих кусков (авторы называют его reproduction value).

Что известно по теме: как IVF сужает область поиска?

PQ экономит память, но не отвечает на вопрос, сколько векторов нужно перебрать. Здесь подключается Inverted File. Пространство делится на партиции, в каждой лежат близкие друг к другу векторы. Автор иллюстрирует это диаграммой Вороного: набор «ячеек», где каждая точка относится к ближайшему центру. Когда приходит запрос, система не сканирует всю базу. Она находит ближайшие ячейки и ищет только в них. Уже внутри этой выборки применяется PQ. Выходит грубый отбор, а затем поиск среди сжатых векторов.

Что известно по теме: какие параметры крутить на практике?

В LanceDB индекс создаётся несколькими строками: данные загружаются в таблицу, затем вызывается create_index с числом партиций. В примере блога используются 10 000 случайных векторов. Важная оговорка: для обучения индекса в таблице должно быть достаточно данных, иначе центроиды получатся плохими. При поиске есть три основных параметра: limit, по умолчанию 10: сколько результатов вернуть. nprobes, по умолчанию 20: сколько партиций просмотреть. Чем больше значение, тем выше точность, но тем медленнее поиск.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…