Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоНаучная статья · В песочницуQdrant Blog→ оригинал

Qdrant 1.20 ищет по словам без эмбеддингов и ускоряет вложенные фильтры в 7–38 раз

Qdrant 1.20 ранжирует поиск по словам (алгоритм BM25) прямо по тексту в полях записи: эмбеддинги и разреженные векторы больше не нужны. Раньше каждый документ гнали через модель и вручную следили за средней длиной текстов, теперь Qdrant считает это сам. Вложенные фильтры вроде «предложение магазина дешевле N» с новым индексом по элементам массива работают в 7–38 раз быстрее. Для гибридного RAG стоит проверить переход на тестовом кластере.

AI-обработка оригинала Qdrant Blog; редакция Hamidun News
Qdrant 1.20 ищет по словам без эмбеддингов и ускоряет вложенные фильтры в 7–38 раз
Источник: Qdrant Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникQdrant Blog ↗
Главный редактор
Тест100 тысяч точек, три вложенных фильтра, payload уже в памяти
Ключевой факт #216-битный TurboQuant вдвое сжимает векторы float32 без потери точности
Ключевой факт #38-битный TurboQuant точнее скалярного квантования на 10 из 11 датасетов

Если вы строите RAG или поиск по документам, то знаете неудобный компромисс: векторный поиск хорошо ловит смысл, но хуже находит точные слова, названия функций и артикулы. Поэтому рядом с ним обычно ставят классический поиск по ключевым словам с ранжированием BM25. Это формула, которая решает, какой документ релевантнее: чем чаще запрос встречается в тексте и чем реже слово попадается в остальной базе, тем выше результат. В релизе Qdrant 1.20 этот слой стал проще: BM25 считается прямо по тексту, который уже лежит в полях записи (payload), без эмбеддингов. Кроме того, вложенные фильтры по массивам объектов, например по списку предложений магазинов у одного товара, работают в 7–38 раз быстрее. Добавились и более компактные векторы, и более безопасные настройки кластера.

BM25 прямо из текста, без эмбеддингов

Раньше, чтобы ранжировать полнотекстовый поиск по BM25, текст приходилось превращать в разреженные векторы. Каждый документ и каждый запрос проходил через отдельный шаг инференса. Среднюю длину документа нужно было отслеживать самому: она зашивалась в каждый сохранённый вектор. Если данные менялись, обновить её можно было только повторной конвертацией всей коллекции.

В версии 1.20 BM25 работает на полнотекстовом индексе. Вы создаёте индекс по полю, например по названию книги, включаете подсчёт BM25 и сразу ищете, скажем, «time travel». Статистику, включая среднюю длину документа, Qdrant считает сам из данных, поэтому оценки точны без ручной настройки. Параметры BM25 можно менять на уровне запроса, пересобирать индекс ради этого не нужно. Такой запрос работает везде в Query API, в том числе в гибридной схеме вместе с плотными векторами. Старый подход через разреженные векторы по-прежнему поддерживается. Если текст уже лежит в payload, на индекс можно перейти без повторной загрузки данных.

Для поиска по коду появился отдельный токенизатор, то есть правило, по которому текст режется на искомые слова. Обычный делит строку по пробелам и знакам препинания, а в коде идентификатор склеивает несколько слов в разных стилях написания. Новый токенизатор делит их по подчёркиваниям и смене регистра, включая аббревиатуры, так что варианты в стилях snake_case и camelCase находят друг друга. Полный идентификатор при этом тоже индексируется.

Быстрее вложенные фильтры и компактнее векторы

Представьте товар с несколькими предложениями, у каждого свой магазин и цена. Вложенный фильтр ищет товары, у которых одно и то же предложение подходит по всем условиям сразу: нужный магазин и цена ниже порога. Раньше индексы лишь сужали круг кандидатов, а затем Qdrant читал payload каждого, обычно с диска. Если кандидатов оставалось много, фильтр тормозил.

Теперь можно создать индекс по элементам массива, где каждый элемент хранится отдельно. Если все условия фильтра опираются на такие индексы одного массива, ответ собирается без чтения payload. API не меняется, поэтому существующие запросы ускоряются сразу после создания индексов. В тесте на 100 тысячах точек и трёх вложенных фильтрах выигрыш составил от 7 до 38 раз, причём даже когда все payload уже лежали в памяти. С диска разрыв, по оценке авторов, вероятно, больше.

Квантование пополнилось двумя типами TurboQuant. 16-битный вариант вдвое уменьшает размер векторов float32 без потери точности. Он сначала применяет поворот TurboQuant, который равномерно распределяет значения по координатам. Это важно для эмбеддингов с несколькими очень крупными координатами, как у ada-002, CLIP и Cohere. На 13 датасетах ошибка восстановления вектора оказалась в 7,5 раза ниже, чем у float16. На 12 датасетах доля найденных верных соседей в топ-10 (recall@10) отличалась от точного поиска не более чем на 0,1 п.п., а float16 на ada-002 и CLIP опустился до 99,5%. Медианная задержка поиска по HNSW-индексу составила 81% от float16 на x86 и 83% на ARM.

8-битный TurboQuant принимает обычные float-векторы и квантует их сам. Он сжимает данные примерно в четыре раза, против восьми у 4-битного варианта. При похожей задержке на 10 из 11 тестовых датасетов он дал recall выше скалярного квантования, на оставшемся показал равный результат.

Безопасность, память и обновление

ID-трекер сопоставляет ID точки с её внутренним расположением и версией. Раньше он всегда жил в RAM, около 52 байт на точку, то есть порядка 5 ГБ на 100 миллионов точек. Теперь его можно держать на диске: либо с чтением по требованию, либо с загрузкой в кэш страниц при открытии сегмента. По умолчанию он остаётся в RAM.

Внутренний gRPC-порт кластера при заданном API-ключе теперь по умолчанию требует аутентификации и принимает только ключи с правом записи. Порт можно привязать к отдельному приватному интерфейсу. Кроме того, появились снапшоты в GCS и Azure Blob Storage, вывод аудит-логов в stdout или stderr и часовой пояс логов через переменную окружения.

С обновлением есть подводные камни. Обновляться нужно по одной минорной версии, например 1.18 → 1.19 → 1.20. Кластеры, где задан только read-only ключ, потребуют правок до апгрейда. Inline-хранилище теперь держит оригинальные векторы только в файле HNSW-индекса, поэтому они следуют его уровню памяти, и потребление RAM может вырасти. До обновления проверьте настройки уровней памяти.

Практический вывод: если гибридный поиск держится на разреженных BM25-векторах, протестируйте переход на полнотекстовый индекс. Для больших коллекций замерьте TurboQuant на своих эмбеддингах: результаты на ваших данных могут отличаться от бенчмарков авторов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: BM25 прямо из текста, без эмбеддингов?

Раньше, чтобы ранжировать полнотекстовый поиск по BM25, текст приходилось превращать в разреженные векторы. Каждый документ и каждый запрос проходил через отдельный шаг инференса. Среднюю длину документа нужно было отслеживать самому: она зашивалась в каждый сохранённый вектор. Если данные менялись, обновить её можно было только повторной конвертацией всей коллекции. В версии 1.20 BM25 работает на полнотекстовом индексе.

Что известно по теме: быстрее вложенные фильтры и компактнее векторы?

Представьте товар с несколькими предложениями, у каждого свой магазин и цена. Вложенный фильтр ищет товары, у которых одно и то же предложение подходит по всем условиям сразу: нужный магазин и цена ниже порога. Раньше индексы лишь сужали круг кандидатов, а затем Qdrant читал payload каждого, обычно с диска. Если кандидатов оставалось много, фильтр тормозил. Теперь можно создать индекс по элементам массива, где каждый элемент хранится отдельно.

Что известно по теме: безопасность, память и обновление?

ID-трекер сопоставляет ID точки с её внутренним расположением и версией. Раньше он всегда жил в RAM, около 52 байт на точку, то есть порядка 5 ГБ на 100 миллионов точек. Теперь его можно держать на диске: либо с чтением по требованию, либо с загрузкой в кэш страниц при открытии сегмента. По умолчанию он остаётся в RAM. Внутренний gRPC-порт кластера при заданном API-ключе теперь по умолчанию требует аутентификации и принимает только ключи с правом записи. Порт можно привязать к отдельному приватному интерфейсу.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…