Один вектор на документ в 32K токенов находит деталь в 30% случаев, чанки — в 56%
Чанкинг — это нарезка документа на куски, и модель UltraBERT с окном в 32 тысячи токенов обещала его отменить: весь текст ложится в один вектор. Qdrant проверил на эссе с одним вставленным посторонним предложением: при длине 32K токенов целый вектор находил нужное эссе в 30% случаев, чанки по 512 токенов — в 56%. На 256 токенах тот же вектор справлялся в 84% случаев. Для поиска деталей чанки пока остаются основой.
AI-обработка оригинала Qdrant Blog; редакция Hamidun News
Каждый, кто собирал поиск по документам или RAG, упирался в один вопрос: на какие куски резать текст. Если кусок слишком мелкий, он теряет контекст. Если слишком крупный, эмбеддинг-модель его обрезает. Модель UltraBERT от DMIS Lab обещала снять проблему: она принимает до 32 тысяч токенов и выдаёт один 768-мерный вектор на весь документ. Нарезка на чанки (куски фиксированной длины, например по 512 токенов) в таком мире вроде бы не нужна. Команда Qdrant проверила это на практике. Короткий ответ: пока нужна.
Что именно сравнивали
UltraBERT — плотная эмбеддинг-модель на 151 млн параметров. Она построена на английском энкодере, обученном под входы в 32K токенов, поэтому большинство документов проходят за один проход.
Qdrant сравнил четыре варианта: один вектор на весь документ, чанки по 512 токенов, оба подхода вместе и всё это в сжатом виде. Документы в тестах длинные, в среднем от 7 600 до 13 800 токенов. Задачи были разные: найти стенограмму серии по её пересказу, ответить на вопрос, для которого нужны сразу несколько статей Википедии, найти нужный фрагмент встречи. Ещё два синтетических теста: в одном в тексте спрятан пароль, в другом в эссе вставлено одно постороннее предложение, и нужно найти эссе по вопросу о нём. Для проверки в большом масштабе взяли 200 000 англоязычных статей Википедии и 800 вопросов, каждый про одну статью.
Чанки по-прежнему находят детали
Целый вектор действительно читает все 32K токенов. В задаче с паролем он поставил нужный документ на первое место в 99% случаев по всем длинам, а на длине 32K токенов не ошибся ни разу. Но в большинстве остальных задач чанки оказались точнее.
Чанки победили там, где ответ лежит в нескольких абзацах: на 2WikiMultihopQA, QMSum и MLDR. Целый вектор выиграл только на SummScreenFD, где запрос описывает серию целиком.
Причину хорошо показывает тест с посторонним предложением. Представьте длинное эссе, в которое вставили одну фразу не по теме. Один вектор не может удержать каждую такую деталь. На длине 256 токенов целый вектор находил нужное эссе в 84% случаев, на 32K токенов только в 30%. Чанки по 512 токенов на той же длине дали 56%.
Гибрид, где поиск идёт и по целому вектору, и по чанкам, а результаты сливаются, помог слабо. На SummScreenFD и Needle выигрыш составил до 0,02 и 0,03 по шкале метрики, то есть 2–3 пункта из 100. На 2WikiMultihopQA, QMSum и MLDR гибрид оказался хуже одних чанков, сильнее всего на MLDR.
Сколько стоят чанки и как их сжать
Главный аргумент против чанков — число векторов. Статьи MLDR в среднем делятся на 7 чанков, всего получилось 1,43 млн векторов. В float32 это около 4 ГБ.
Квантизация сжимает каждый вектор с 3 072 байт до 104, то есть в 30 раз. Все 200 000 статей занимают около 140 МБ оперативной памяти. Каждый чанк хранился отдельной точкой в Qdrant, а групповой запрос возвращал каждую статью по одному разу.
По сравнению с точным поиском сжатые векторы сохранили 95% качества, а с пересчётом по исходным векторам (rescoring) 98%. Несжатые векторы в том же индексе дали 99%. У пересчёта есть цена: в тесте исходные векторы лежали на диске, и их чтение добавляло 4–11 мс на запрос. Пока дисковый кэш был холодным, задержка превышала 100 мс.
Целый вектор сжимается хуже чанков. На MLDR при 1 бите он сохранил 89% качества. При 2 битах результат сравнялся с несжатым вектором в том же индексе. Поэтому начинать стоит с двух бит или оставлять rescoring.
Что делать на практике
Целые документы ещё и дороже в расчёте. Эмбеддинг стенограмм SummScreenFD целиком занял примерно в 3 раза больше времени, чем эмбеддинг чанков по 512 токенов, на NVIDIA L4.
Рекомендации Qdrant:
- Для поиска деталей начинайте с чанков по 512 токенов.
- Для вопросов про одиночные факты пробуйте 256.
- Сжатие делает лишние векторы доступнее, но качество и задержку rescoring проверяйте на своих запросах.
У UltraBERT есть и другое применение. Можно сначала искать по целым документам, чтобы определить тему, а потом искать ответ внутри чанков найденных документов. Такую двухступенчатую схему авторы считают стоящей проверки, тем более что простое объединение двух поисков стабильно не помогало.
Ограничение исследования: тесты на английском языке и на конкретных бенчмарках, на вашем корпусе цифры могут отличаться. Но вывод понятен: окно в 32K токенов даёт больше свободы в выборе того, что представляет один вектор, а нарезку текста не отменяет.
- 21 мая 2026 г.RAG-системы ломаются на реальных данных: виновник — retrieval, не модель
- 25 янв. 2024 г.OpenAI в 5 раз удешевила эмбеддинги для RAG: $0,02 вместо $0,10 за млн токенов
- 30 апр. 2026 г.10 RAG-подходов, которые реально работают в продакшене: от базового к GraphRAG
- 9 окт. 2026 г.RAG по 11 000 файлов путал артикулы и выдавал данные чужого станка
Вопросы и ответы по материалу
Что известно по теме: что именно сравнивали?
UltraBERT — плотная эмбеддинг-модель на 151 млн параметров. Она построена на английском энкодере, обученном под входы в 32K токенов, поэтому большинство документов проходят за один проход. Qdrant сравнил четыре варианта: один вектор на весь документ, чанки по 512 токенов, оба подхода вместе и всё это в сжатом виде. Документы в тестах длинные, в среднем от 7 600 до 13 800 токенов.
Что известно по теме: чанки по-прежнему находят детали?
Целый вектор действительно читает все 32K токенов. В задаче с паролем он поставил нужный документ на первое место в 99% случаев по всем длинам, а на длине 32K токенов не ошибся ни разу. Но в большинстве остальных задач чанки оказались точнее. Чанки победили там, где ответ лежит в нескольких абзацах: на 2WikiMultihopQA, QMSum и MLDR. Целый вектор выиграл только на SummScreenFD, где запрос описывает серию целиком. Причину хорошо показывает тест с посторонним предложением.
Что известно по теме: сколько стоят чанки и как их сжать?
Главный аргумент против чанков — число векторов. Статьи MLDR в среднем делятся на 7 чанков, всего получилось 1,43 млн векторов. В float32 это около 4 ГБ. Квантизация сжимает каждый вектор с 3 072 байт до 104, то есть в 30 раз. Все 200 000 статей занимают около 140 МБ оперативной памяти. Каждый чанк хранился отдельной точкой в Qdrant, а групповой запрос возвращал каждую статью по одному разу. По сравнению с точным поиском сжатые векторы сохранили 95% качества, а с пересчётом по исходным векторам (rescoring) 98%.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.