Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарQdrant Articles→ оригинал

Qdrant сжал векторы в 8 раз с потерей полноты поиска всего 1–2 п.п.

Векторная база хранит эмбеддинги в тяжёлых float32, и память быстро становится главной статьёй расходов. Qdrant добавил сжатие TurboQuant: оно случайно «поворачивает» каждый вектор и хранит каждое число в 1–4 битах вместо 32. В 4-битном режиме места нужно в 8 раз меньше, а полнота поиска (доля найденных нужных соседей) ниже, чем у SQ со сжатием в 4 раза, лишь на 1–2 п.п. Сидите на SQ или BQ — проверьте TurboQuant на тестовой выборке.

AI-обработка оригинала Qdrant Articles; редакция Hamidun News
Qdrant сжал векторы в 8 раз с потерей полноты поиска всего 1–2 п.п.
Источник: Qdrant Articles. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникQdrant Articles ↗
Главный редактор
Ключевой факт #12 бита против BQ при том же 16-кратном сжатии: полнота выше на 9–24 п.п.
Ключевой факт #21 бит против обычного BQ при 32-кратном сжатии: выигрыш 9–21 п.п.
Ключевой факт #3Переход — смена конфига и переиндексация; параметр memory нужен Qdrant 1.19

Если вы держите векторный поиск в продакшене, то знаете, на что уходит память: на эмбеддинги. Каждое число в векторе по умолчанию занимает 32 бита (float32), а векторов бывают миллионы. Чтобы сэкономить, их сжимают, но чем сильнее сжатие, тем чаще поиск теряет нужные документы. Команда Qdrant (авторы статьи — Иван Плешков и Йонас Шульц) добавила новый способ сжатия под названием TurboQuant и показала, что он выигрывает по памяти или по качеству у двух старых вариантов.

Какие были варианты и что добавилось

Раньше в Qdrant было два основных пути. Скалярное квантование SQ хранит каждое число в одном байте (int8): сжатие в 4 раза, а качество на большинстве эмбеддингов почти не отличается от float32. Бинарное квантование BQ хранит 1, 1,5 или 2 бита на число, то есть сжимает в 32, около 21 или 16 раз. Но результат сильно зависит от модели эмбеддингов: хорошо работает на равномерных, хорошо обученных моделях.

TurboQuant добавляет четыре режима: 4 бита на число (сжатие в 8 раз), 2 бита (в 16 раз), 1,5 бита (около 21 раза) и 1 бит (в 32 раза). Включается он в блоке quantization_config коллекции: достаточно выбрать глубину в битах (bits2 и так далее) и при желании закрепить данные в памяти параметром memory. Этот параметр требует Qdrant 1.19, на версии 1.18 его нужно опустить.

Как это работает на пальцах

Представьте, что вектор — это набор из сотен чисел, где у одних координат разброс большой, а у других почти нулевой. Равномерно округлять такие числа неудобно. Поэтому метод сначала умножает каждый вектор на случайную ортогональную матрицу, то есть поворачивает его в пространстве. Расстояния и скалярные произведения при этом не меняются, а разброс по координатам выравнивается. После этого каждое число округляется до ближайшего значения из маленькой готовой таблицы (кодбук Ллойда — Макса), одной на все наборы данных. Обучать ничего не нужно, калибровочная выборка не нужна, хранить отдельные таблицы тоже. У классического Product Quantization всё иначе: кодбук приходится обучать на ваших данных и возить вместе с индексом.

Qdrant не взял метод «как есть», а смешал идеи TurboQuant и RaBitQ и добавил свои доработки:

  • Перенормировка длины. Сжатые векторы получаются чуть короче оригиналов. Qdrant хранит на каждый вектор один коэффициент (те же 4 байта, что уже отведены под длину) и умножает на него при подсчёте похожести.
  • Калибровка по координатам. Теория выведена для векторов, равномерно разбросанных по сфере, а реальные эмбеддинги такими не бывают. Поэтому для каждого сегмента один раз подбирают сдвиг и масштаб по каждой координате. Поправка уходит на сторону запроса, так что хранилище не растёт, а ядро подсчёта не меняется. На идеально равномерных данных результат совпадает с обычным TurboQuant.
  • Метрики. Поддерживаются косинусное расстояние, скалярное произведение и L2. Метрика L1 не поддерживается: поворот не сохраняет L1-норму, и для неё авторы советуют остаться на SQ.

Из двух вариантов оригинальной статьи Qdrant выбрал MSE. Он позволяет сравнивать два сжатых вектора друг с другом напрямую (это нужно, например, при построении графа HNSW) и хорошо ложится на целочисленные инструкции AVX-VNNI, AVX-512 и NEON.

Что показали бенчмарки и что делать

Команда сравнила методы на публичных наборах эмбеддингов (полная таблица — на десяти). Результаты такие:

  • 4 бита против SQ. Сжатие в 8 раз вместо 4. На большинстве наборов полнота поиска отстаёт от SQ на 1–2 п.п. (процентных пункта), а на некоторых TurboQuant оказывается лучше: сетка int8 плохо ложится на распределение таких эмбеддингов.
  • 2 бита против BQ 2 бита. При том же 16-кратном сжатии TurboQuant впереди на 11–15 п.п. на четырёх показанных наборах и на 9–24 п.п. на всех десяти.
  • 1 бит против обычного BQ. При том же 32-кратном сжатии выигрыш 9–21 п.п. Речь о простой версии BQ, где и хранимые векторы, и запрос занимают по 1 биту. Версия с 8-битным запросом разобрана в статье отдельно.

Рекомендация авторов простая. Если вы на SQ, попробуйте 4-битный TurboQuant: вы получите вдвое меньше памяти при сопоставимой полноте. Если вы на BQ, возьмите TurboQuant того же объёма, то есть 2 бита вместо 2 или 1 вместо 1, и получите больше найденных документов за те же гигабайты. Миграция — это смена конфига и переиндексация.

Есть и оговорки. Цифры взяты из бенчмарков самой Qdrant, поэтому сначала проверьте метод на тестовой выборке своих данных и своей модели эмбеддингов. Если ваш поиск построен на метрике L1, TurboQuant вам не подойдёт. Для остальных это один из самых дешёвых способов уменьшить счёт за память без переписывания приложения.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: какие были варианты и что добавилось?

Раньше в Qdrant было два основных пути. Скалярное квантование SQ хранит каждое число в одном байте (int8): сжатие в 4 раза, а качество на большинстве эмбеддингов почти не отличается от float32. Бинарное квантование BQ хранит 1, 1,5 или 2 бита на число, то есть сжимает в 32, около 21 или 16 раз. Но результат сильно зависит от модели эмбеддингов: хорошо работает на равномерных, хорошо обученных моделях.

Что известно по теме: как это работает на пальцах?

Представьте, что вектор — это набор из сотен чисел, где у одних координат разброс большой, а у других почти нулевой. Равномерно округлять такие числа неудобно. Поэтому метод сначала умножает каждый вектор на случайную ортогональную матрицу, то есть поворачивает его в пространстве. Расстояния и скалярные произведения при этом не меняются, а разброс по координатам выравнивается.

Что известно по теме: что показали бенчмарки и что делать?

Команда сравнила методы на публичных наборах эмбеддингов (полная таблица — на десяти). Результаты такие: 4 бита против SQ. Сжатие в 8 раз вместо 4. На большинстве наборов полнота поиска отстаёт от SQ на 1–2 п.п. (процентных пункта), а на некоторых TurboQuant оказывается лучше: сетка int8 плохо ложится на распределение таких эмбеддингов. 2 бита против BQ 2 бита. При том же 16-кратном сжатии TurboQuant впереди на 11–15 п.п. на четырёх показанных наборах и на 9–24 п.п. на всех десяти. 1 бит против обычного BQ.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…