Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарQdrant Blog→ оригинал

Один вектор на документ в 32K токенов находит деталь в 30% случаев, чанки — в 56%

Чанкинг — это нарезка документа на куски, и модель UltraBERT с окном в 32 тысячи токенов обещала его отменить: весь текст ложится в один вектор. Qdrant проверил на эссе с одним вставленным посторонним предложением: при длине 32K токенов целый вектор находил нужное эссе в 30% случаев, чанки по 512 токенов — в 56%. На 256 токенах тот же вектор справлялся в 84% случаев. Для поиска деталей чанки пока остаются основой.

AI-обработка оригинала Qdrant Blog; редакция Hamidun News
Один вектор на документ в 32K токенов находит деталь в 30% случаев, чанки — в 56%
Источник: Qdrant Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникQdrant Blog ↗
Главный редактор
Задача с паролемцелый вектор угадал в 99% случаев
Сжатие в 30 раз200 тыс. статей занимают около 140 МБ
Ключевой факт #3Целые документы на NVIDIA L4 считаются в 3 раза дольше чанков

Каждый, кто собирал поиск по документам или RAG, упирался в один вопрос: на какие куски резать текст. Если кусок слишком мелкий, он теряет контекст. Если слишком крупный, эмбеддинг-модель его обрезает. Модель UltraBERT от DMIS Lab обещала снять проблему: она принимает до 32 тысяч токенов и выдаёт один 768-мерный вектор на весь документ. Нарезка на чанки (куски фиксированной длины, например по 512 токенов) в таком мире вроде бы не нужна. Команда Qdrant проверила это на практике. Короткий ответ: пока нужна.

Что именно сравнивали

UltraBERT — плотная эмбеддинг-модель на 151 млн параметров. Она построена на английском энкодере, обученном под входы в 32K токенов, поэтому большинство документов проходят за один проход.

Qdrant сравнил четыре варианта: один вектор на весь документ, чанки по 512 токенов, оба подхода вместе и всё это в сжатом виде. Документы в тестах длинные, в среднем от 7 600 до 13 800 токенов. Задачи были разные: найти стенограмму серии по её пересказу, ответить на вопрос, для которого нужны сразу несколько статей Википедии, найти нужный фрагмент встречи. Ещё два синтетических теста: в одном в тексте спрятан пароль, в другом в эссе вставлено одно постороннее предложение, и нужно найти эссе по вопросу о нём. Для проверки в большом масштабе взяли 200 000 англоязычных статей Википедии и 800 вопросов, каждый про одну статью.

Чанки по-прежнему находят детали

Целый вектор действительно читает все 32K токенов. В задаче с паролем он поставил нужный документ на первое место в 99% случаев по всем длинам, а на длине 32K токенов не ошибся ни разу. Но в большинстве остальных задач чанки оказались точнее.

Чанки победили там, где ответ лежит в нескольких абзацах: на 2WikiMultihopQA, QMSum и MLDR. Целый вектор выиграл только на SummScreenFD, где запрос описывает серию целиком.

Причину хорошо показывает тест с посторонним предложением. Представьте длинное эссе, в которое вставили одну фразу не по теме. Один вектор не может удержать каждую такую деталь. На длине 256 токенов целый вектор находил нужное эссе в 84% случаев, на 32K токенов только в 30%. Чанки по 512 токенов на той же длине дали 56%.

Гибрид, где поиск идёт и по целому вектору, и по чанкам, а результаты сливаются, помог слабо. На SummScreenFD и Needle выигрыш составил до 0,02 и 0,03 по шкале метрики, то есть 2–3 пункта из 100. На 2WikiMultihopQA, QMSum и MLDR гибрид оказался хуже одних чанков, сильнее всего на MLDR.

Сколько стоят чанки и как их сжать

Главный аргумент против чанков — число векторов. Статьи MLDR в среднем делятся на 7 чанков, всего получилось 1,43 млн векторов. В float32 это около 4 ГБ.

Квантизация сжимает каждый вектор с 3 072 байт до 104, то есть в 30 раз. Все 200 000 статей занимают около 140 МБ оперативной памяти. Каждый чанк хранился отдельной точкой в Qdrant, а групповой запрос возвращал каждую статью по одному разу.

По сравнению с точным поиском сжатые векторы сохранили 95% качества, а с пересчётом по исходным векторам (rescoring) 98%. Несжатые векторы в том же индексе дали 99%. У пересчёта есть цена: в тесте исходные векторы лежали на диске, и их чтение добавляло 4–11 мс на запрос. Пока дисковый кэш был холодным, задержка превышала 100 мс.

Целый вектор сжимается хуже чанков. На MLDR при 1 бите он сохранил 89% качества. При 2 битах результат сравнялся с несжатым вектором в том же индексе. Поэтому начинать стоит с двух бит или оставлять rescoring.

Что делать на практике

Целые документы ещё и дороже в расчёте. Эмбеддинг стенограмм SummScreenFD целиком занял примерно в 3 раза больше времени, чем эмбеддинг чанков по 512 токенов, на NVIDIA L4.

Рекомендации Qdrant:

  • Для поиска деталей начинайте с чанков по 512 токенов.
  • Для вопросов про одиночные факты пробуйте 256.
  • Сжатие делает лишние векторы доступнее, но качество и задержку rescoring проверяйте на своих запросах.

У UltraBERT есть и другое применение. Можно сначала искать по целым документам, чтобы определить тему, а потом искать ответ внутри чанков найденных документов. Такую двухступенчатую схему авторы считают стоящей проверки, тем более что простое объединение двух поисков стабильно не помогало.

Ограничение исследования: тесты на английском языке и на конкретных бенчмарках, на вашем корпусе цифры могут отличаться. Но вывод понятен: окно в 32K токенов даёт больше свободы в выборе того, что представляет один вектор, а нарезку текста не отменяет.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно сравнивали?

UltraBERT — плотная эмбеддинг-модель на 151 млн параметров. Она построена на английском энкодере, обученном под входы в 32K токенов, поэтому большинство документов проходят за один проход. Qdrant сравнил четыре варианта: один вектор на весь документ, чанки по 512 токенов, оба подхода вместе и всё это в сжатом виде. Документы в тестах длинные, в среднем от 7 600 до 13 800 токенов.

Что известно по теме: чанки по-прежнему находят детали?

Целый вектор действительно читает все 32K токенов. В задаче с паролем он поставил нужный документ на первое место в 99% случаев по всем длинам, а на длине 32K токенов не ошибся ни разу. Но в большинстве остальных задач чанки оказались точнее. Чанки победили там, где ответ лежит в нескольких абзацах: на 2WikiMultihopQA, QMSum и MLDR. Целый вектор выиграл только на SummScreenFD, где запрос описывает серию целиком. Причину хорошо показывает тест с посторонним предложением.

Что известно по теме: сколько стоят чанки и как их сжать?

Главный аргумент против чанков — число векторов. Статьи MLDR в среднем делятся на 7 чанков, всего получилось 1,43 млн векторов. В float32 это около 4 ГБ. Квантизация сжимает каждый вектор с 3 072 байт до 104, то есть в 30 раз. Все 200 000 статей занимают около 140 МБ оперативной памяти. Каждый чанк хранился отдельной точкой в Qdrant, а групповой запрос возвращал каждую статью по одному разу. По сравнению с точным поиском сжатые векторы сохранили 95% качества, а с пересчётом по исходным векторам (rescoring) 98%.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…