База знаний на RAG: 100 ГБ файлов дают 1,5 млн фрагментов и 9 часов загрузки
Представьте: у компании 100 ГБ регламентов, договоров и инструкций, и их нужно загрузить в корпоративную базу знаний с ИИ (схема RAG: поиск кусков документов плюс языковая модель). Файлы превратятся примерно в 1,5 млн фрагментов текста, а их обработка на одной видеокарте займёт около 9 часов; для 10 ТБ это уже 38 дней. Поэтому железо считают по числу фрагментов, а не гигабайтов, и начинают с чистки данных, а не с выбора модели.
AI-обработка оригинала Habr AI; редакция Hamidun News
Компания хочет, чтобы сотрудники задавали вопросы по внутренним документам обычными словами и получали ответ со ссылкой на источник. Для этого строят базу знаний на схеме RAG: система ищет нужные куски документов и подкладывает их языковой модели, которая пишет ответ. Главный вопрос архитектора — сколько это будет стоить в железе.
Ответ неожиданный: размер среды определяет не модель, а число фрагментов, на которые режут документы. В примере авторов руководства 100 ГБ файлов превращаются в 1,5 млн фрагментов (кусков текста примерно по 500 токенов), а их загрузка на одной видеокарте (GPU) занимает около 9 часов. Для 10 ТБ это уже 150 млн фрагментов и 38 дней.
Руководство выпустила команда ITGLOBAL.COM. Это материал вендора, и замеры сделаны на его инфраструктуре, но как чек-лист он полезен любому, кто строит такую систему.
Семь звеньев цепочки и где они ломаются
Языковая модель ваших документов не знает, а дообучать её после каждой правки регламента дорого. Поэтому модель не учат: на каждый вопрос ей показывают найденные фрагменты. Обновили документ — обновился ответ. Скажем, сотрудник спрашивает «как оформить отпуск за свой счёт», а в регламенте написано «отпуск без сохранения заработной платы». Поиск по словам промахнётся, поиск по смыслу найдёт нужный абзац.
Цепочка состоит из семи звеньев, и качество ответа определяет самое слабое. Чаще всего это поиск, а не модель.
- Разбор документов (Docling, Apache Tika, Unstructured, OCR для сканов). Таблицы рассыпаются, русские сканы читаются латиницей, колонтитулы попадают в каждый фрагмент.
- Нарезка на фрагменты. Режут по заголовкам и абзацам с небольшим перекрытием и дописывают название документа. Без него «таблица компенсаций» из двух разных SLA выглядит одинаково.
- Эмбеддер (Qwen3-Embedding, BGE-M3, multilingual-e5, GigaEmbeddings, Gemini Embedding). Его часто выбирают по мировому рейтингу и не проверяют на своих русских документах.
- Векторная база (pgvector, Qdrant, Milvus, Weaviate, OpenSearch). Типичные ошибки: нет фильтра по правам доступа и не посчитана память под индекс.
- Поиск по словам (BM25, полнотекстовый поиск PostgreSQL). Он нужен для номеров договоров и кодов ошибок. Оценки по словам и по смыслу нельзя складывать без приведения к одной шкале, иначе один поиск заглушит другой.
- Переранжировщик (Qwen3-Reranker, bge-reranker, Voyage rerank, Cohere Rerank). Он берёт 20–50 найденных фрагментов и расставляет их точнее. Если вызвать его без нужного шаблона запроса, порядок станет почти случайным.
- Языковая модель ответа (Qwen, GigaChat, YandexGPT, зарубежные модели). Ей нужно прямо запретить отвечать «из головы», когда нужного фрагмента нет.
Сверху нужны права доступа и набор контрольных вопросов с известными ответами. GPU требуются только четырём компонентам: разбору сканов, эмбеддеру, переранжировщику и языковой модели. Остальное работает на обычных серверах.
Какую векторную базу брать
- pgvector — если уже есть PostgreSQL и фрагментов до десятков миллионов. Права проверяются обычным SQL, но индекс строится по векторам до 2000 чисел, а фильтр по правам срабатывает после поиска.
- Qdrant — отдельная база на миллионы–сотни миллионов фрагментов. Фильтр по правам работает прямо во время поиска, векторы сжимаются в 4–32 раза.
- Milvus — сотни миллионов и миллиарды фрагментов, но нужна команда эксплуатации: Kubernetes, etcd, объектное хранилище.
- Weaviate — когда нужен смешанный поиск из коробки. Сжатие по умолчанию выключено, русская морфология не заявлена.
- OpenSearch — если полнотекстовый поиск на нём уже есть. Для одного векторного поиска тяжеловат.
Ориентир авторов: до 10 млн фрагментов справятся все пять, от 10 до 200 млн — Qdrant или OpenSearch со сжатием, дальше Milvus или кластер Qdrant.
Две ловушки. Первая: вектор Qwen3-Embedding-4B из 2560 чисел pgvector хранит, но не индексирует. Выход — половинная точность или укороченный вектор, например 1024. Вторая: если сотруднику доступна малая часть базы, а фильтр по правам срабатывает после поиска, он получит пустой ответ. Схему прав проектируют вместе с выбором базы.
Считаем среду и проверяем данные
В примере авторов текст составляет 5% от объёма файлов, повторов 30%, фрагмент — 500 токенов с перекрытием 15%. Результат: 100 ГБ файлов дают 1,5 млн фрагментов, 23 ГБ памяти под векторы по 2560 чисел и около 9 часов загрузки при скорости эмбеддера 20–22 тыс. токенов в секунду. 1 ТБ — 15 млн фрагментов и 4 дня, 10 ТБ — 150 млн и 38 дней. Сжатие векторов до int8 с укорочением до 1024 чисел уменьшает память в 10 раз: на 10 ТБ это 230 ГБ вместо 2,3 ТБ. Коэффициенты условные, реальные доли текста и повторов измеряют на выборке 1–2% файлов.
Для ответов размер базы почти не важен. Вектор вопроса считается за 0,19 с, переранжирование 20 фрагментов занимает 0,68 с, основное время уходит на языковую модель. Для моделей на 26–27 млрд параметров хватает одной карты на 80–96 ГБ, а восемь H200 под GLM-5 для базы знаний редко оправданы.
Главная рекомендация — начинать с данных. Gartner пишет, что 63% организаций не уверены в своих практиках работы с данными. До кода нужно составить список источников с владельцами, оценить повторы (по оценке практиков, около 30% устаревших версий и 20% дублей), проверить качество сканов (ниже 300 dpi будут ошибки), решить вопросы прав и 152-ФЗ и собрать минимум 30, а лучше 100–200 реальных вопросов с эталонными ответами. Вдвое меньше подключённых файлов — вдвое меньше всего в расчёте.
- 19 нояб. 2026 г.Нейросети внесли школу в список военных целей в 70% тестов Vals AI
- 19 нояб. 2026 г.Q.ANT и AMD запустили LLM на 1 млрд параметров с оптическим чипом вместо внимания
- 19 нояб. 2026 г.Слово «видеоигра» подняло готовность GPT-6 Astra выбирать цели с 6% до 92%
- 19 нояб. 2026 г.AWS добавила в SageMaker рейтинг из 70+ моделей: качество, скорость и цена в одной таблице
Вопросы и ответы по материалу
Что известно по теме: семь звеньев цепочки и где они ломаются?
Языковая модель ваших документов не знает, а дообучать её после каждой правки регламента дорого. Поэтому модель не учат: на каждый вопрос ей показывают найденные фрагменты. Обновили документ — обновился ответ. Скажем, сотрудник спрашивает «как оформить отпуск за свой счёт», а в регламенте написано «отпуск без сохранения заработной платы». Поиск по словам промахнётся, поиск по смыслу найдёт нужный абзац. Цепочка состоит из семи звеньев, и качество ответа определяет самое слабое. Чаще всего это поиск, а не модель.
Что известно по теме: какую векторную базу брать?
pgvector — если уже есть PostgreSQL и фрагментов до десятков миллионов. Права проверяются обычным SQL, но индекс строится по векторам до 2000 чисел, а фильтр по правам срабатывает после поиска. Qdrant — отдельная база на миллионы–сотни миллионов фрагментов. Фильтр по правам работает прямо во время поиска, векторы сжимаются в 4–32 раза. Milvus — сотни миллионов и миллиарды фрагментов, но нужна команда эксплуатации: Kubernetes, etcd, объектное хранилище. Weaviate — когда нужен смешанный поиск из коробки.
Что известно по теме: считаем среду и проверяем данные?
В примере авторов текст составляет 5% от объёма файлов, повторов 30%, фрагмент — 500 токенов с перекрытием 15%. Результат: 100 ГБ файлов дают 1,5 млн фрагментов, 23 ГБ памяти под векторы по 2560 чисел и около 9 часов загрузки при скорости эмбеддера 20–22 тыс. токенов в секунду. 1 ТБ — 15 млн фрагментов и 4 дня, 10 ТБ — 150 млн и 38 дней. Сжатие векторов до int8 с укорочением до 1024 чисел уменьшает память в 10 раз: на 10 ТБ это 230 ГБ вместо 2,3 ТБ.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.