В RAG классический BM25 нашёл ответ в 72% запросов, нейропоиск — в 49,7%
Если RAG-бот не находит дело по номеру или фамилии, виноват часто нейропоиск: он ловит смысл, но путает редкие слова. На тесте EntityQuestions с вопросами про конкретные имена BM25 — классический поиск по словам — нашёл ответ в 72% случаев, нейропоиск в 49,7%. Поэтому в продакшене держите BM25 рядом с эмбеддингами и смешивайте их оценки взвешенной суммой.
AI-обработка оригинала Raft; редакция Hamidun News
Представьте RAG-бота по юридическим документам: он сначала ищет в базе подходящие фрагменты, а потом на их основе отвечает пользователю. Вы спрашиваете про конкретное дело по номеру или про человека по фамилии, а векторный (нейросетевой) поиск возвращает тексты «похожие по смыслу», но не те самые. Классический алгоритм BM25, который ищет по совпадению слов и взвешивает их редкость, на таких запросах справляется лучше. На тесте EntityQuestions, где задают вопросы про конкретные имена и сущности, BM25 нашёл нужный ответ в 72% случаев, а нейропоиск — только в 49,7%. Инженерный разбор от AI-архитектора, делавшего поиск по юридическим документам (проект «НейроЮрист»), показывает, как относиться к BM25 как к структуре данных и что с ним делать в продакшене.
BM25 как заранее посчитанная таблица
Представьте, что для каждого слова в каждом документе заранее выставлена оценка: насколько это слово важно для этого текста. Тогда поиск сводится к тому, чтобы сложить готовые оценки слов из запроса. Именно поэтому BM25 такой быстрый.
Технически вес пары «слово — документ» зависит от частоты слова в документе, длины документа и глобальных счётчиков корпуса, но не зависит от запроса. Значит, его можно вычислить при индексации и сложить в разреженную матрицу. Поиск превращается в выборку столбцов по токенам запроса и их суммирование. В статье приведён минимальный пример на Python с numpy и scipy: около 20 строк, вариант IDF (оценки редкости слова) из Lucene, выбор лучших результатов через argpartition.
Обратная сторона у этой схемы одна, но неприятная: оценки зависят от всей коллекции. Добавили или удалили документ — формально поменялись веса всех остальных. Матрицу приходится пересобирать либо сознательно жить с дрейфом статистик, например средней длины документа. В распределённой системе добавляется шардирование: локальная статистика шарда отличается от общей, и оценки с разных узлов смешиваются некорректно. Elasticsearch лечит это режимом dfs_query_then_fetch ценой лишнего сетевого раунда, но если корпус влезает на одну ноду, проще держать один шард.
«BM25» — это не одна формула
Единого стандарта нет. Kamphuis и соавторы (ECIR 2020) сравнили восемь распространённых вариантов: классический Робертсона, Lucene, ATIRE, BM25L, BM25+ и другие. Они расходятся в расчёте IDF, в нормализации частоты слова и в том, как обращаются с отрицательными значениями (они возникают, если слово встречается больше чем в половине документов).
Практические следствия:
- Одни и те же документы получат разные числа в разных библиотеках, сравнивать их между системами бессмысленно.
- В Lucene начиная с 8-й версии убрали множитель (k1+1) в числителе. Порядок документов внутри запроса не меняется, а абсолютные скоры меняются, и это ломает сравнение между версиями.
- Скор BM25 не вероятность: он не ограничен сверху и растёт с длиной запроса. Жёсткий порог вроде «выше 12 — релевантно» неизбежно сломается. Используйте относительные пороги: долю от максимального скора или нормализованное значение.
- В sparse-эмбеддерах, которые переводят слова в индексы через хэширование, на больших словарях с номерами дел и реквизитами возникают коллизии: разные слова склеиваются в одну координату. В таких доменах лучше сразу перейти на явный словарь.
Что показывают бенчмарки и как смешивать с нейросетью
Цифры уже были выше: на EntityQuestions BM25 нашёл нужный ответ в 72% случаев, нейросетевой поиск — в 49,7%. Нейросети плохо справляются с редким (фамилии, номера дел, артикулы) и «любят» короткие фрагменты, на длинных текстах они проседают.
Для гибрида автор советует смешивать BM25 и нейросеть взвешенной суммой оценок, а не по рангам (метод RRF, который учитывает только место документа в списке). Оговорка важная: если вы дообучили эмбеддер на своих данных, смесь может стать хуже, пока веса не подобраны заново. Поэтому после каждой смены модели веса нужно пересчитывать, а не переносить со старой версии.
Ещё один вывод: качество поиска больше всего зависит от подготовки текста — морфологии, токенизации и нарезки на куски. Экзотические варианты формулы вроде BM25L и BM25+ дают гораздо меньше. Для русского языка с его падежами это особенно заметно: если не привести слова к начальной форме, «договора» и «договору» будут для индекса разными словами.
Что делать на практике
- Выберите одну библиотеку BM25, зафиксируйте версию, пороги и веса гибрида подбирайте внутри неё.
- Параметр k1 и другие настройки подбирайте отдельно, иначе вы сравните настроенную модель с ненастроенной.
- Сначала улучшайте токенизацию и нарезку на куски, и только потом думайте о вариантах формулы.
- Планируйте пересборку индекса или допускайте дрейф статистик при частых обновлениях.
- Пересчитывайте веса гибрида после дообучения эмбеддера.
Ограничение материала: это взгляд одного практика на конкретном домене юридических текстов, и цифры по EntityQuestions не заменят проверки на вашей коллекции. Но как чек-лист «что ломается при переходе из ноутбука в продакшен» разбор полезен любой команде, у которой RAG теряет точные идентификаторы.
- 7 июл. 2026 г.VK создала нейропоиск Discovery AI для многомиллиардной контентной базы Дзена и VK Видео
- 12 нояб. 2026 г.Elasticsearch 8.13 ускорил векторный поиск и добавил LTR-переранжирование
- 27 окт. 2026 г.Qdrant 1.20 ищет по словам без эмбеддингов и ускоряет вложенные фильтры в 7–38 раз
- 30 апр. 2026 г.OpenAI и Grok уступили кастомному RAG в юридическом Agentic RAG Legal Challenge
Вопросы и ответы по материалу
Что известно по теме: BM25 как заранее посчитанная таблица?
Представьте, что для каждого слова в каждом документе заранее выставлена оценка: насколько это слово важно для этого текста. Тогда поиск сводится к тому, чтобы сложить готовые оценки слов из запроса. Именно поэтому BM25 такой быстрый. Технически вес пары «слово — документ» зависит от частоты слова в документе, длины документа и глобальных счётчиков корпуса, но не зависит от запроса. Значит, его можно вычислить при индексации и сложить в разреженную матрицу.
Что известно по теме: «BM25» — это не одна формула?
Единого стандарта нет. Kamphuis и соавторы (ECIR 2020) сравнили восемь распространённых вариантов: классический Робертсона, Lucene, ATIRE, BM25L, BM25+ и другие. Они расходятся в расчёте IDF, в нормализации частоты слова и в том, как обращаются с отрицательными значениями (они возникают, если слово встречается больше чем в половине документов). Практические следствия: Одни и те же документы получат разные числа в разных библиотеках, сравнивать их между системами бессмысленно.
Что известно по теме: что показывают бенчмарки и как смешивать с нейросетью?
Цифры уже были выше: на EntityQuestions BM25 нашёл нужный ответ в 72% случаев, нейросетевой поиск — в 49,7%. Нейросети плохо справляются с редким (фамилии, номера дел, артикулы) и «любят» короткие фрагменты, на длинных текстах они проседают. Для гибрида автор советует смешивать BM25 и нейросеть взвешенной суммой оценок, а не по рангам (метод RRF, который учитывает только место документа в списке). Оговорка важная: если вы дообучили эмбеддер на своих данных, смесь может стать хуже, пока веса не подобраны заново.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.