Qdrant сжал векторы в 8 раз с потерей полноты поиска всего 1–2 п.п.
Векторная база хранит эмбеддинги в тяжёлых float32, и память быстро становится главной статьёй расходов. Qdrant добавил сжатие TurboQuant: оно случайно «поворачивает» каждый вектор и хранит каждое число в 1–4 битах вместо 32. В 4-битном режиме места нужно в 8 раз меньше, а полнота поиска (доля найденных нужных соседей) ниже, чем у SQ со сжатием в 4 раза, лишь на 1–2 п.п. Сидите на SQ или BQ — проверьте TurboQuant на тестовой выборке.
AI-обработка оригинала Qdrant Articles; редакция Hamidun News
Если вы держите векторный поиск в продакшене, то знаете, на что уходит память: на эмбеддинги. Каждое число в векторе по умолчанию занимает 32 бита (float32), а векторов бывают миллионы. Чтобы сэкономить, их сжимают, но чем сильнее сжатие, тем чаще поиск теряет нужные документы. Команда Qdrant (авторы статьи — Иван Плешков и Йонас Шульц) добавила новый способ сжатия под названием TurboQuant и показала, что он выигрывает по памяти или по качеству у двух старых вариантов.
Какие были варианты и что добавилось
Раньше в Qdrant было два основных пути. Скалярное квантование SQ хранит каждое число в одном байте (int8): сжатие в 4 раза, а качество на большинстве эмбеддингов почти не отличается от float32. Бинарное квантование BQ хранит 1, 1,5 или 2 бита на число, то есть сжимает в 32, около 21 или 16 раз. Но результат сильно зависит от модели эмбеддингов: хорошо работает на равномерных, хорошо обученных моделях.
TurboQuant добавляет четыре режима: 4 бита на число (сжатие в 8 раз), 2 бита (в 16 раз), 1,5 бита (около 21 раза) и 1 бит (в 32 раза). Включается он в блоке quantization_config коллекции: достаточно выбрать глубину в битах (bits2 и так далее) и при желании закрепить данные в памяти параметром memory. Этот параметр требует Qdrant 1.19, на версии 1.18 его нужно опустить.
Как это работает на пальцах
Представьте, что вектор — это набор из сотен чисел, где у одних координат разброс большой, а у других почти нулевой. Равномерно округлять такие числа неудобно. Поэтому метод сначала умножает каждый вектор на случайную ортогональную матрицу, то есть поворачивает его в пространстве. Расстояния и скалярные произведения при этом не меняются, а разброс по координатам выравнивается. После этого каждое число округляется до ближайшего значения из маленькой готовой таблицы (кодбук Ллойда — Макса), одной на все наборы данных. Обучать ничего не нужно, калибровочная выборка не нужна, хранить отдельные таблицы тоже. У классического Product Quantization всё иначе: кодбук приходится обучать на ваших данных и возить вместе с индексом.
Qdrant не взял метод «как есть», а смешал идеи TurboQuant и RaBitQ и добавил свои доработки:
- Перенормировка длины. Сжатые векторы получаются чуть короче оригиналов. Qdrant хранит на каждый вектор один коэффициент (те же 4 байта, что уже отведены под длину) и умножает на него при подсчёте похожести.
- Калибровка по координатам. Теория выведена для векторов, равномерно разбросанных по сфере, а реальные эмбеддинги такими не бывают. Поэтому для каждого сегмента один раз подбирают сдвиг и масштаб по каждой координате. Поправка уходит на сторону запроса, так что хранилище не растёт, а ядро подсчёта не меняется. На идеально равномерных данных результат совпадает с обычным TurboQuant.
- Метрики. Поддерживаются косинусное расстояние, скалярное произведение и L2. Метрика L1 не поддерживается: поворот не сохраняет L1-норму, и для неё авторы советуют остаться на SQ.
Из двух вариантов оригинальной статьи Qdrant выбрал MSE. Он позволяет сравнивать два сжатых вектора друг с другом напрямую (это нужно, например, при построении графа HNSW) и хорошо ложится на целочисленные инструкции AVX-VNNI, AVX-512 и NEON.
Что показали бенчмарки и что делать
Команда сравнила методы на публичных наборах эмбеддингов (полная таблица — на десяти). Результаты такие:
- 4 бита против SQ. Сжатие в 8 раз вместо 4. На большинстве наборов полнота поиска отстаёт от SQ на 1–2 п.п. (процентных пункта), а на некоторых TurboQuant оказывается лучше: сетка int8 плохо ложится на распределение таких эмбеддингов.
- 2 бита против BQ 2 бита. При том же 16-кратном сжатии TurboQuant впереди на 11–15 п.п. на четырёх показанных наборах и на 9–24 п.п. на всех десяти.
- 1 бит против обычного BQ. При том же 32-кратном сжатии выигрыш 9–21 п.п. Речь о простой версии BQ, где и хранимые векторы, и запрос занимают по 1 биту. Версия с 8-битным запросом разобрана в статье отдельно.
Рекомендация авторов простая. Если вы на SQ, попробуйте 4-битный TurboQuant: вы получите вдвое меньше памяти при сопоставимой полноте. Если вы на BQ, возьмите TurboQuant того же объёма, то есть 2 бита вместо 2 или 1 вместо 1, и получите больше найденных документов за те же гигабайты. Миграция — это смена конфига и переиндексация.
Есть и оговорки. Цифры взяты из бенчмарков самой Qdrant, поэтому сначала проверьте метод на тестовой выборке своих данных и своей модели эмбеддингов. Если ваш поиск построен на метрике L1, TurboQuant вам не подойдёт. Для остальных это один из самых дешёвых способов уменьшить счёт за память без переписывания приложения.
- 21 нояб. 2026 г.Локальную phi3 взламывали в 51% попыток — разработчик поставил перед ней защитный шлюз
- 21 нояб. 2026 г.Thinking Machines выпустила открытую Inkling 2 Mini на 26,4 млрд параметров для Mac с 32 ГБ
- 21 нояб. 2026 г.Флеш-память для SSD подешевела на 19–32% в разовых сделках — накопители могут упасть в цене
- 21 нояб. 2026 г.Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
Вопросы и ответы по материалу
Что известно по теме: какие были варианты и что добавилось?
Раньше в Qdrant было два основных пути. Скалярное квантование SQ хранит каждое число в одном байте (int8): сжатие в 4 раза, а качество на большинстве эмбеддингов почти не отличается от float32. Бинарное квантование BQ хранит 1, 1,5 или 2 бита на число, то есть сжимает в 32, около 21 или 16 раз. Но результат сильно зависит от модели эмбеддингов: хорошо работает на равномерных, хорошо обученных моделях.
Что известно по теме: как это работает на пальцах?
Представьте, что вектор — это набор из сотен чисел, где у одних координат разброс большой, а у других почти нулевой. Равномерно округлять такие числа неудобно. Поэтому метод сначала умножает каждый вектор на случайную ортогональную матрицу, то есть поворачивает его в пространстве. Расстояния и скалярные произведения при этом не меняются, а разброс по координатам выравнивается.
Что известно по теме: что показали бенчмарки и что делать?
Команда сравнила методы на публичных наборах эмбеддингов (полная таблица — на десяти). Результаты такие: 4 бита против SQ. Сжатие в 8 раз вместо 4. На большинстве наборов полнота поиска отстаёт от SQ на 1–2 п.п. (процентных пункта), а на некоторых TurboQuant оказывается лучше: сетка int8 плохо ложится на распределение таких эмбеддингов. 2 бита против BQ 2 бита. При том же 16-кратном сжатии TurboQuant впереди на 11–15 п.п. на четырёх показанных наборах и на 9–24 п.п. на всех десяти. 1 бит против обычного BQ.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.