Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоНаучная статья · В песочницуLanceDB Blog→ оригинал

Реранкер Cohere поднял точность гибридного поиска в RAG выше 90% в тесте LanceDB

В RAG поиск часто находит нужный абзац, но ставит его ниже первых мест, и в промпт он не попадает. LanceDB проверила реранкер Cohere v3, который пересортирует выдачу вторым проходом. Доля запросов, где нужный фрагмент попал в топ, в гибридном поиске (векторы плюс ключевые слова) превысила 90% — на 23–49% выше базы. Поэтому к гибридному поиску в RAG стоит сразу подключать реранкер.

AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Реранкер Cohere поднял точность гибридного поиска в RAG выше 90% в тесте LanceDB
Источник: LanceDB Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLanceDB Blog ↗
Главный редактор
Cohere v3 почти не обогнал v2обе версии упёрлись в потолок около 90%
Ключевой факт #2Для чистого векторного поиска реранкер дал +8% (BGE) и +11% (ColBERT)
Тест800+ пар «вопрос — контекст» из отчёта Uber за 2021 год

Любой, кто собирал RAG, знает неприятную ситуацию: нужный абзац поиск нашёл, но поставил на седьмое место, а в промпт для модели попали только первые три результата. Ответ получается мимо, хотя нужные данные в базе были. Лечит это реранкинг — второй проход, который заново сортирует найденное по другому критерию, не обязательно совпадающему с оценкой самого поиска.

Команда LanceDB опубликовала бенчмарк, где сравнила несколько реранкеров. Главный герой теста — новая модель Cohere Rerank v3. В гибридном поиске, где векторное сходство сочетается с поиском по ключевым словам, она подняла долю «попаданий» выше 90%.

Под «попаданием» здесь понимается простая вещь: нужный фрагмент текста оказался в первых K результатах выдачи. По сравнению с обычным векторным поиском это примерно на 23% и 49% больше для двух проверенных эмбеддинг-моделей.

Как это подключается

В LanceDB реранкинг встроен для всех типов поиска: векторного, полнотекстового и гибридного. Чтобы им воспользоваться, достаточно создать объект реранкера (например, CohereReranker с API-ключом) и передать его в запрос через метод rerank. Дальше результат можно получить в виде pandas-таблицы. Код для всех трёх режимов почти одинаковый, поэтому переключаться между ними и сравнивать реранкеры легко.

Как проводили тест

Оценивали только качество поиска, а не весь RAG целиком. Метрика — hit-rate: попал ли ожидаемый фрагмент в топ-K выдачи. Это упрощённая версия привычных recall@k и mAP. Базой для сравнения служил обычный векторный поиск без реранкера.

Есть важная деталь. Когда реранкер применяют к векторному поиску, сначала берут вдвое больше кандидатов (2K), а после пересортировки оставляют топ-K. Без такого запаса реранкеру нечего было бы переставлять, и эффект остался бы незаметным.

Данных взяли два набора. Первый — Uber 10K: больше 800 пар «вопрос — контекст» по годовому отчёту Uber за 2021 год, поданному в SEC. Его можно скачать через LlamaIndex. Второй — набор по обзорной статье о больших языковых моделях. Тестировали с двумя эмбеддинг-моделями: BGE и ColBERT. Реранкеры сравнивали такие: ColBERT, Cohere v2 и Cohere v3. В тексте также упоминаются кросс-энкодеры и линейная комбинация оценок — Cohere обошёл и их.

Что получилось

  • Векторный поиск + реранкер. Результаты у обеих эмбеддинг-моделей похожи. ColBERT в роли и эмбеддера, и реранкера работает чуть лучше базы. Реранкеры Cohere показали самую высокую точность: просто пересортировав увеличенную выдачу, они дали примерно +8% для BGE и +11% для ColBERT.
  • Гибридный поиск + реранкер. Здесь Cohere снова впереди в обоих случаях: доля попаданий превысила 90%. Это примерно +23% и +49% к базовому варианту для двух эмбеддинг-функций.
  • Второй датасет. Картина та же: Cohere лучше всех и с ColBERT, и с BGE, а связка ColBERT-реранкера с ColBERT-эмбеддингом чуть лучше базы. По словам авторов, на других похожих датасетах Cohere тоже оказывался первым.

Что с v3 против v2

Неожиданный вывод: между Cohere v3 и v2 на этих данных разница ничтожная. Обе версии выходят примерно на 90%, то есть упираются в потолок качества. Авторы считают, что эти датасеты просто не подходят для того, чтобы разделить модели.

Заметнее v3 может проявиться в других задачах. В анонсе Cohere реранкеры сравнивали на полуструктурированных JSON-данных, а поиск там шёл по BM25 (в LanceDB это полнотекстовый поиск), а не по векторам. В таких условиях v3 заметно лучше v2. Эти замеры LanceDB в статью не включила, но планирует разобрать в следующих частях. Там же обещают более сложные случаи — структурированный и полуструктурированный поиск.

Ещё одно заявленное преимущество v3 — скорость: API должен работать заметно быстрее v2. Но это сравнение авторы взяли из блога Cohere, а сами не измеряли.

Что делать на практике

Если в вашем RAG только векторный поиск, реранкер — один из самых дешёвых способов поднять качество выдачи. Начните с гибридного поиска и реранкера Cohere, а потом проверьте, что даёт v3 на вашем типе данных. Для отчётов и статей вряд ли стоит ожидать скачка относительно v2. Для JSON и полуструктурированных документов разница, судя по Cohere, может быть больше.

Есть и ограничения. Это бенчмарк самого вендора векторной базы на двух датасетах, а метрика упрощённая: она показывает, попал ли нужный текст в выдачу, но не качество итоговых ответов. Поэтому перед внедрением прогоните тот же hit-rate на собственных документах.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это подключается?

В LanceDB реранкинг встроен для всех типов поиска: векторного, полнотекстового и гибридного. Чтобы им воспользоваться, достаточно создать объект реранкера (например, CohereReranker с API-ключом) и передать его в запрос через метод rerank. Дальше результат можно получить в виде pandas-таблицы. Код для всех трёх режимов почти одинаковый, поэтому переключаться между ними и сравнивать реранкеры легко.

Что известно по теме: как проводили тест?

Оценивали только качество поиска, а не весь RAG целиком. Метрика — hit-rate: попал ли ожидаемый фрагмент в топ-K выдачи. Это упрощённая версия привычных recall@k и mAP. Базой для сравнения служил обычный векторный поиск без реранкера. Есть важная деталь. Когда реранкер применяют к векторному поиску, сначала берут вдвое больше кандидатов (2K), а после пересортировки оставляют топ-K. Без такого запаса реранкеру нечего было бы переставлять, и эффект остался бы незаметным. Данных взяли два набора.

Что известно по теме: что получилось?

Векторный поиск + реранкер. Результаты у обеих эмбеддинг-моделей похожи. ColBERT в роли и эмбеддера, и реранкера работает чуть лучше базы. Реранкеры Cohere показали самую высокую точность: просто пересортировав увеличенную выдачу, они дали примерно +8% для BGE и +11% для ColBERT. Гибридный поиск + реранкер. Здесь Cohere снова впереди в обоих случаях: доля попаданий превысила 90%. Это примерно +23% и +49% к базовому варианту для двух эмбеддинг-функций. Второй датасет.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…