Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарRaft→ оригинал

В RAG классический BM25 нашёл ответ в 72% запросов, нейропоиск — в 49,7%

Если RAG-бот не находит дело по номеру или фамилии, виноват часто нейропоиск: он ловит смысл, но путает редкие слова. На тесте EntityQuestions с вопросами про конкретные имена BM25 — классический поиск по словам — нашёл ответ в 72% случаев, нейропоиск в 49,7%. Поэтому в продакшене держите BM25 рядом с эмбеддингами и смешивайте их оценки взвешенной суммой.

AI-обработка оригинала Raft; редакция Hamidun News
В RAG классический BM25 нашёл ответ в 72% запросов, нейропоиск — в 49,7%
Источник: Raft. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникRaft ↗
Главный редактор
Ключевой факт #1Оценки BM25 из разных библиотек несопоставимы: у каждой своя формула
Ключевой факт #2В Lucene с 8-й версии убрали множитель (k1+1) в числителе формулы
Ключевой факт #3Пороги подбирайте внутри одной библиотеки и одной версии

Представьте RAG-бота по юридическим документам: он сначала ищет в базе подходящие фрагменты, а потом на их основе отвечает пользователю. Вы спрашиваете про конкретное дело по номеру или про человека по фамилии, а векторный (нейросетевой) поиск возвращает тексты «похожие по смыслу», но не те самые. Классический алгоритм BM25, который ищет по совпадению слов и взвешивает их редкость, на таких запросах справляется лучше. На тесте EntityQuestions, где задают вопросы про конкретные имена и сущности, BM25 нашёл нужный ответ в 72% случаев, а нейропоиск — только в 49,7%. Инженерный разбор от AI-архитектора, делавшего поиск по юридическим документам (проект «НейроЮрист»), показывает, как относиться к BM25 как к структуре данных и что с ним делать в продакшене.

BM25 как заранее посчитанная таблица

Представьте, что для каждого слова в каждом документе заранее выставлена оценка: насколько это слово важно для этого текста. Тогда поиск сводится к тому, чтобы сложить готовые оценки слов из запроса. Именно поэтому BM25 такой быстрый.

Технически вес пары «слово — документ» зависит от частоты слова в документе, длины документа и глобальных счётчиков корпуса, но не зависит от запроса. Значит, его можно вычислить при индексации и сложить в разреженную матрицу. Поиск превращается в выборку столбцов по токенам запроса и их суммирование. В статье приведён минимальный пример на Python с numpy и scipy: около 20 строк, вариант IDF (оценки редкости слова) из Lucene, выбор лучших результатов через argpartition.

Обратная сторона у этой схемы одна, но неприятная: оценки зависят от всей коллекции. Добавили или удалили документ — формально поменялись веса всех остальных. Матрицу приходится пересобирать либо сознательно жить с дрейфом статистик, например средней длины документа. В распределённой системе добавляется шардирование: локальная статистика шарда отличается от общей, и оценки с разных узлов смешиваются некорректно. Elasticsearch лечит это режимом dfs_query_then_fetch ценой лишнего сетевого раунда, но если корпус влезает на одну ноду, проще держать один шард.

«BM25» — это не одна формула

Единого стандарта нет. Kamphuis и соавторы (ECIR 2020) сравнили восемь распространённых вариантов: классический Робертсона, Lucene, ATIRE, BM25L, BM25+ и другие. Они расходятся в расчёте IDF, в нормализации частоты слова и в том, как обращаются с отрицательными значениями (они возникают, если слово встречается больше чем в половине документов).

Практические следствия:

  • Одни и те же документы получат разные числа в разных библиотеках, сравнивать их между системами бессмысленно.
  • В Lucene начиная с 8-й версии убрали множитель (k1+1) в числителе. Порядок документов внутри запроса не меняется, а абсолютные скоры меняются, и это ломает сравнение между версиями.
  • Скор BM25 не вероятность: он не ограничен сверху и растёт с длиной запроса. Жёсткий порог вроде «выше 12 — релевантно» неизбежно сломается. Используйте относительные пороги: долю от максимального скора или нормализованное значение.
  • В sparse-эмбеддерах, которые переводят слова в индексы через хэширование, на больших словарях с номерами дел и реквизитами возникают коллизии: разные слова склеиваются в одну координату. В таких доменах лучше сразу перейти на явный словарь.

Что показывают бенчмарки и как смешивать с нейросетью

Цифры уже были выше: на EntityQuestions BM25 нашёл нужный ответ в 72% случаев, нейросетевой поиск — в 49,7%. Нейросети плохо справляются с редким (фамилии, номера дел, артикулы) и «любят» короткие фрагменты, на длинных текстах они проседают.

Для гибрида автор советует смешивать BM25 и нейросеть взвешенной суммой оценок, а не по рангам (метод RRF, который учитывает только место документа в списке). Оговорка важная: если вы дообучили эмбеддер на своих данных, смесь может стать хуже, пока веса не подобраны заново. Поэтому после каждой смены модели веса нужно пересчитывать, а не переносить со старой версии.

Ещё один вывод: качество поиска больше всего зависит от подготовки текста — морфологии, токенизации и нарезки на куски. Экзотические варианты формулы вроде BM25L и BM25+ дают гораздо меньше. Для русского языка с его падежами это особенно заметно: если не привести слова к начальной форме, «договора» и «договору» будут для индекса разными словами.

Что делать на практике

  1. Выберите одну библиотеку BM25, зафиксируйте версию, пороги и веса гибрида подбирайте внутри неё.
  2. Параметр k1 и другие настройки подбирайте отдельно, иначе вы сравните настроенную модель с ненастроенной.
  3. Сначала улучшайте токенизацию и нарезку на куски, и только потом думайте о вариантах формулы.
  4. Планируйте пересборку индекса или допускайте дрейф статистик при частых обновлениях.
  5. Пересчитывайте веса гибрида после дообучения эмбеддера.

Ограничение материала: это взгляд одного практика на конкретном домене юридических текстов, и цифры по EntityQuestions не заменят проверки на вашей коллекции. Но как чек-лист «что ломается при переходе из ноутбука в продакшен» разбор полезен любой команде, у которой RAG теряет точные идентификаторы.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: BM25 как заранее посчитанная таблица?

Представьте, что для каждого слова в каждом документе заранее выставлена оценка: насколько это слово важно для этого текста. Тогда поиск сводится к тому, чтобы сложить готовые оценки слов из запроса. Именно поэтому BM25 такой быстрый. Технически вес пары «слово — документ» зависит от частоты слова в документе, длины документа и глобальных счётчиков корпуса, но не зависит от запроса. Значит, его можно вычислить при индексации и сложить в разреженную матрицу.

Что известно по теме: «BM25» — это не одна формула?

Единого стандарта нет. Kamphuis и соавторы (ECIR 2020) сравнили восемь распространённых вариантов: классический Робертсона, Lucene, ATIRE, BM25L, BM25+ и другие. Они расходятся в расчёте IDF, в нормализации частоты слова и в том, как обращаются с отрицательными значениями (они возникают, если слово встречается больше чем в половине документов). Практические следствия: Одни и те же документы получат разные числа в разных библиотеках, сравнивать их между системами бессмысленно.

Что известно по теме: что показывают бенчмарки и как смешивать с нейросетью?

Цифры уже были выше: на EntityQuestions BM25 нашёл нужный ответ в 72% случаев, нейросетевой поиск — в 49,7%. Нейросети плохо справляются с редким (фамилии, номера дел, артикулы) и «любят» короткие фрагменты, на длинных текстах они проседают. Для гибрида автор советует смешивать BM25 и нейросеть взвешенной суммой оценок, а не по рангам (метод RRF, который учитывает только место документа в списке). Оговорка важная: если вы дообучили эмбеддер на своих данных, смесь может стать хуже, пока веса не подобраны заново.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…