Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарQdrant Blog→ оригинал

Qdrant сжал PDF-страницу до 64 байт в памяти и сохранил 99,2% качества поиска

PDF с таблицами и графиками ищут через OCR, который теряет связи на странице, или через ColPali с тысячей векторов на страницу. Qdrant показала, что Cohere Embed 5 Pro хватает одного вектора на картинку: в памяти остаётся 64 байта вместо 8 КБ, а топ-20 страниц перепроверяются полными векторами с диска. Качество поиска при этом составляет 99,2% от полного. Для больших PDF-архивов это способ обойтись без OCR и не раздувать RAM.

AI-обработка оригинала Qdrant Blog; редакция Hamidun News
Qdrant сжал PDF-страницу до 64 байт в памяти и сохранил 99,2% качества поиска
Источник: Qdrant Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникQdrant Blog ↗
Главный редактор
Ключевой факт #1512 бит на страницу в RAM — в 128 раз меньше полного вектора
10 млн страницColPali около 4,8 ТБ, рецепт Qdrant около 610 МБ в RAM
Ключевой факт #3Rerank 5 Pro поднял качество поиска по OCR-тексту с 66,8 до 73,2 балла

Представьте архив из 10 миллионов PDF-страниц с отчётами, мануалами и таблицами, по которому нужно искать ответы на вопросы. Если хранить страницы в виде векторов (наборов чисел, по которым база сравнивает смысл), память под поиск быстро становится главной статьёй расходов. Команда Qdrant опубликовала рецепт, как уместить страницу в 64 байта оперативной памяти вместо 8 КБ и при этом сохранить 99,2% качества поиска полного вектора. Здесь 100% — это средний балл nDCG@10 в 65,85. Метрика показывает, насколько высоко в выдаче оказываются нужные страницы. Для сравнения: 8 КБ занимает вектор из 2048 чисел в формате float32, а 64 байта — тот же вектор, ужатый в 128 раз.

Зачем вообще один вектор на страницу

Ответы в PDF часто спрятаны в графиках, таблицах и диаграммах. Классический путь — OCR, то есть превращение картинки в текст. Он может потерять связи между словами: например, какая цифра относится к какой колонке таблицы.

Для поиска без OCR Qdrant обычно советует модели позднего взаимодействия вроде ColPali и ColQwen. Они хранят отдельный вектор на каждый небольшой фрагмент картинки, и каждое слово запроса сравнивается с лучшим подходящим фрагментом. Это точно, но на одну страницу приходится около тысячи векторов. Специальная мера сходства MaxSim плохо работает с обычным индексом HNSW, поэтому на миллиардах точек приходится прибегать к обходным схемам вроде MUVERA.

Идеал — один обычный вектор на страницу. Инженеры не ждали, что такая схема выдержит конкуренцию, но проверили её из любопытства на моделях Cohere Embed 5. В семействе две модели: качественная Pro и лёгкая Fast. Обе принимают текст и изображения, знают более 100 языков и используют общее пространство векторов. Сама Cohere тестировала их на бенчмарке ViDoRe V3 по распознанному тексту, а Qdrant подала Embed 5 Pro картинки страниц напрямую.

Тест шёл на пяти англоязычных наборах ViDoRe V3: учебники по информатике, финансовые отчёты, документы ЕС о рынке труда, технические инструкции ВВС США и бумаги FDA. Всего 12 969 страниц и 1 489 вопросов. Embed 5 Pro с одним вектором на страницу набрала больше нескольких моделей позднего взаимодействия.

Как страница дошла до 64 байт

Рецепт собирается из трёх приёмов:

  • Матрёшка-представление (MRL). Первые N чисел вектора хранят основной смысл, поэтому можно оставить первые 512 из 2048.
  • Бинарное квантование. Для каждого числа остаётся один бит: больше оно нуля или нет. 512 бит — это 64 байта на страницу.
  • Асимметричное квантование. Страницы хранятся однобитными, а запрос остаётся 8-битным. Если сжать и страницу, и запрос до знаков, каждое измерение голосует одинаково, даже когда значение чуть выше нуля. С точным запросом сильные измерения весят больше.

Чем короче хранимый вектор, тем сильнее помогал точный запрос. После грубого поиска топ-20 кандидатов перепроверяются полными векторами, которые лежат на диске, а в RAM остаются только компактные копии. Итог: 99,2% качества полного вектора и в 128 раз меньше памяти.

В прикидке для 10 млн страниц несжатые векторы ColPali занимают около 4,8 ТБ, полные векторы Embed 5 — около 76 ГБ, а поисковые векторы по рецепту — около 610 МБ в RAM. Ещё около 95 ГБ полных и укороченных векторов лежат на диске.

Оговорки и бонус с Rerank 5

Цифры стоит читать осторожно. Данные для обучения Embed 5 не опубликованы, поэтому нельзя исключить, что модель уже видела эти корпуса. Тесты шли на английском, а пять наборов — это ещё не ваши документы. Расчёт памяти учитывает только байты векторов, без индекса и метаданных. Чтение с диска замедляет поиск, а прочитанные векторы со временем занимают свободную RAM в кэше операционной системы. Наконец, это замеры компании, которая продаёт векторную базу.

В конце Qdrant проверила Cohere Rerank 5, вышедшую во время подготовки поста. Он работает с текстом, а не с картинками, поэтому полезен тем, кто уже использует OCR. Тексты из ViDoRe V3 проиндексировали Embed 5 Pro, а топ-20 страниц переупорядочил Rerank 5 Pro. Средний nDCG@10 вырос с 66,8 до 73,2, а при 64-байтной схеме Qdrant — с 66,2 до 71,7.

Практический вывод: если ваш архив состоит из отчётов, инструкций и презентаций со сложной вёрсткой, прогоните Embed 5 Pro на небольшой выборке своих PDF и сравните с текущим OCR-конвейером. Если качество близкое, экономия RAM на масштабе будет заметной. Qdrant Cloud к тому же принимает картинку страницы как base64 и сам вызывает Cohere, так что отдельный шаг с эмбеддингами в коде не нужен.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем вообще один вектор на страницу?

Ответы в PDF часто спрятаны в графиках, таблицах и диаграммах. Классический путь — OCR, то есть превращение картинки в текст. Он может потерять связи между словами: например, какая цифра относится к какой колонке таблицы. Для поиска без OCR Qdrant обычно советует модели позднего взаимодействия вроде ColPali и ColQwen. Они хранят отдельный вектор на каждый небольшой фрагмент картинки, и каждое слово запроса сравнивается с лучшим подходящим фрагментом. Это точно, но на одну страницу приходится около тысячи векторов.

Что известно по теме: как страница дошла до 64 байт?

Рецепт собирается из трёх приёмов: Матрёшка-представление (MRL). Первые N чисел вектора хранят основной смысл, поэтому можно оставить первые 512 из 2048. Бинарное квантование. Для каждого числа остаётся один бит: больше оно нуля или нет. 512 бит — это 64 байта на страницу. Асимметричное квантование. Страницы хранятся однобитными, а запрос остаётся 8-битным. Если сжать и страницу, и запрос до знаков, каждое измерение голосует одинаково, даже когда значение чуть выше нуля.

Что известно по теме: оговорки и бонус с Rerank 5?

Цифры стоит читать осторожно. Данные для обучения Embed 5 не опубликованы, поэтому нельзя исключить, что модель уже видела эти корпуса. Тесты шли на английском, а пять наборов — это ещё не ваши документы. Расчёт памяти учитывает только байты векторов, без индекса и метаданных. Чтение с диска замедляет поиск, а прочитанные векторы со временем занимают свободную RAM в кэше операционной системы. Наконец, это замеры компании, которая продаёт векторную базу.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…