deepvk vs OpenAI: benchmark com decisões judiciais

Em um corpus de 858 decisões do Tribunal de Direitos de Propriedade Intelectual, o deepvk USER2-base, um modelo local, teve desempenho quase igual ao do OpenAI text-embedding-3-large e do Voyage. O autor testou 7 modelos de embeddings e 4 rerankers e concluiu que, para um RAG jurídico em russo, a combinação USER2-base + jina-reranker-v3 parece a opção mais prática em qualidade, custo e independência de APIs externas.

Processado por IA de Habr AI; editado por Hamidun News
deepvk vs OpenAI: benchmark com decisões judiciais
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo

O modelo russo de texto deepvk USER2-base teve resultados quase comparáveis aos de OpenAI e Voyage em um teste com um corpus de documentos judiciais.

Um RAG jurídico precisa de uma API cara?

Para um RAG jurídico de escopo restrito, nem sempre é preciso uma API cara: um modelo local pode entregar resultados comparáveis.

O reranker influencia a qualidade da busca em decisões judiciais?

O benefício do reranker depende da força do modelo base; ele não é uma ferramenta universal.

Quais modelos foram comparados no teste?

Foram testados deepvk USER2-base, OpenAI e Voyage em um corpus de 858 decisões do Tribunal de Direitos de Propriedade Intelectual.

Em quais documentos o benchmark foi feito?

Em um corpus de 858 decisões do Tribunal de Direitos de Propriedade Intelectual e nos textos da quarta parte do Código Civil da Federação Russa.

História

Perguntas frequentes sobre a notícia

Um RAG jurídico precisa de uma API cara?

Para um RAG jurídico de escopo restrito, nem sempre é preciso uma API cara: um modelo local pode entregar resultados comparáveis.

O reranker influencia a qualidade da busca em decisões judiciais?

O benefício do reranker depende da força do modelo base; ele não é uma ferramenta universal.

Quais modelos foram comparados no teste?

Foram testados deepvk USER2-base, OpenAI e Voyage em um corpus de 858 decisões do Tribunal de Direitos de Propriedade Intelectual.

Em quais documentos o benchmark foi feito?

Em um corpus de 858 decisões do Tribunal de Direitos de Propriedade Intelectual e nos textos da quarta parte do Código Civil da Federação Russa.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…