Нейросеть для текста deepvk vs OpenAI: бенчмарк на судебных актах
На корпусе из 858 решений Суда по интеллектуальным правам локальная deepvk USER2-base показала результат почти на уровне OpenAI text-embedding-3-large и Voyage. Автор протестировал 7 эмбеддингов и 4 реранкера и пришёл к выводу, что для русского юридического RAG связка USER2-base + jina-reranker-v3 выглядит самым практичным вариантом по качеству, цене и независимости от API.
AI-обработка оригинала Habr AI; редакция Hamidun News
Русская нейросеть для текста deepvk USER2-base показала результаты, почти сравнимые с OpenAI и Voyage в тесте на корпусе судебных документов.
Нужен ли дорогой API для юридического RAG?
Для узкого юридического RAG не всегда нужен дорогой API — локальная модель может показать сравнимые результаты.
Влияет ли реранкер на качество поиска по судам?
Польза реранкера зависит от силы базовой модели — не универсальный инструмент.
Какие модели сравнивали в тесте?
Тестировали deepvk USER2-base, OpenAI и Voyage на корпусе из 858 актов Суда по интеллектуальным правам.
На каких документах проводился бенчмарк?
На корпусе из 858 актов Суда по интеллектуальным правам и текстах четвёртой части ГК РФ.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.