deepvk face à OpenAI : un benchmark sur des décisions de justice
Sur un corpus de 858 décisions du Tribunal des droits de propriété intellectuelle, le deepvk USER2-base, un modèle local, obtient des résultats presque équivalents à ceux d'OpenAI text-embedding-3-large et de Voyage. L'auteur a testé 7 modèles d'embeddings et 4 rerankers. Il conclut que, pour un RAG juridique en russe, l'association USER2-base + jina-reranker-v3 paraît l'option la plus pratique en termes de qualité, de coût et d'indépendance vis-à-vis des API externes.
Traité par IA depuis Habr AI ; édité par Hamidun News
Le modèle de texte russe deepvk USER2-base a obtenu des résultats presque comparables à ceux d'OpenAI et de Voyage lors d'un test sur un corpus de documents judiciaires.
Un RAG juridique exige-t-il une API coûteuse ?
Pour un RAG juridique très ciblé, une API coûteuse n'est pas toujours nécessaire : un modèle local peut offrir des résultats comparables.
Le reranker améliore-t-il la qualité de la recherche dans les
décisions de justice ? L'intérêt du reranker dépend de la solidité du modèle de base ; ce n'est pas un outil universel.
Quels modèles ont été comparés dans le test ?
Le test a porté sur deepvk USER2-base, OpenAI et Voyage, sur un corpus de 858 décisions du Tribunal des droits de propriété intellectuelle.
Sur quels documents le benchmark a-t-il été mené ?
Sur un corpus de 858 décisions du Tribunal des droits de propriété intellectuelle et sur les textes de la quatrième partie du Code civil de la Fédération de Russie.
- 1 nov. 2026Les modèles locaux battus par Opus et Codex : 0,21 sur MacBook contre 1,00 pour Codex
- 1 nov. 2026Kimi obtient 96,2 % à un test d'analytique sur une base 1C et s'impose comme solution de repli en cas de blocage de Claude
- 1 nov. 2026OpenAI réécrit les règles de comportement de GPT : cinq valeurs et une chaîne de priorités
- 1 nov. 2026Google reconnaît que l'AI Mode réduit les revenus de la recherche, l'action chute de 15%
Questions clés sur cet article
Un RAG juridique exige-t-il une API coûteuse ?
Pour un RAG juridique très ciblé, une API coûteuse n'est pas toujours nécessaire : un modèle local peut offrir des résultats comparables.
Le reranker améliore-t-il la qualité de la recherche dans les décisions de justice ?
L'intérêt du reranker dépend de la solidité du modèle de base ; ce n'est pas un outil universel.
Quels modèles ont été comparés dans le test ?
Le test a porté sur deepvk USER2-base, OpenAI et Voyage, sur un corpus de 858 décisions du Tribunal des droits de propriété intellectuelle.
Sur quels documents le benchmark a-t-il été mené ?
Sur un corpus de 858 décisions du Tribunal des droits de propriété intellectuelle et sur les textes de la quatrième partie du Code civil de la Fédération de Russie.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.