Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Qdrant e Hybrid RAG: busca em documentos corporativos sem nuvem e sem vazamentos

O Hybrid RAG vai além da gestão documental clássica: o sistema busca por significado e por correspondência exata ao mesmo tempo e, depois, verifica a relevância dos trechos encontrados antes de responder. O núcleo é uma stack local com Qdrant, Qwen2.5, LangGraph e Haystack. Ela ajuda bancos, empresas de logística e escritórios de advocacia a trabalhar com seus arquivos mais rápido, sem levar os dados para a nuvem.

Processado por IA de Habr AI; editado por Hamidun News
Qdrant e Hybrid RAG: busca em documentos corporativos sem nuvem e sem vazamentos
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Docling normaliza os arquivos recebidos e prepara a estrutura do documento
Dado-chave #2Qwen2.5-VL ajuda a interpretar digitalizações, tabelas e elementos visuais complexos
Dado-chave #3BAAI/bge-m3 gera vetores dense e sparse para documentos e consultas

A busca em documentos corporativos esbarra não na falta de dados, mas no fato de eles estarem espalhados por PDFs, digitalizações, planilhas e e-mails. O Hybrid RAG propõe uma arquitetura que permite buscar respostas em arquivos internos localmente, sem enviar informações sensíveis para a nuvem.

Onde a busca falha

O RAG comum funciona bem em uma base organizada e homogênea: um FAQ, um único regulamento ou um conjunto de documentos de texto limpos. Mas, no negócio real, os documentos têm formatos variados, estão em dois idiomas e muitas vezes trazem não só texto, mas também tabelas, códigos, números de artigo e páginas digitalizadas. Nesse ambiente, só a busca semântica não basta: uma consulta sobre reclamações contra um contratante ou sobre o código 8471300000 exige entender o sentido da pergunta e, ao mesmo tempo, localizar com precisão números e formulações específicas.

É aqui que o Hybrid RAG se diferencia da abordagem clássica. O sistema não tenta simplesmente "alimentar" um modelo de linguagem com o arquivo: primeiro, ele monta o contexto relevante a partir de vários tipos de busca. Isso é especialmente importante para logística, bancos, alfândega e escritórios de advocacia, onde o usuário não quer um resumo genérico, mas uma resposta exata, apoiada em um documento, cláusula ou página específicos. Por isso, o ponto-chave não é só a busca, mas também a forma de verificar o contexto encontrado antes de o modelo responder.

Como a stack é montada

No esquema descrito, os documentos passam primeiro por uma análise estrutural. O Docling prepara as digitalizações e o layout, enquanto o modelo multimodal Qwen2.5-VL ajuda a ler tabelas complexas, anotações manuscritas e páginas mal reconhecidas. Em seguida, o modelo de embeddings BAAI/bge-m3 transforma os documentos e a pergunta do usuário em duas representações ao mesmo tempo: dense para busca por significado e sparse para correspondências exatas. O Qdrant armazena os dois tipos de vetores e combina os resultados via RRF, para que não seja preciso equilibrar manualmente os pesos entre as duas estratégias.

  • Docling normaliza os arquivos recebidos e prepara a estrutura do documento
  • Qwen2.5-VL ajuda a interpretar digitalizações, tabelas e elementos visuais complexos
  • BAAI/bge-m3 gera vetores dense e sparse para documentos e consultas
  • Qdrant executa a busca híbrida e funde os resultados via RRF
  • Uma camada de rerank descarta trechos irrelevantes antes de o modelo responder

Depois entra o rerank em duas etapas: uma triagem rápida e uma verificação mais precisa com cross-encoder. Para a geração da resposta vai não o arquivo inteiro, mas um pequeno conjunto de trechos que de fato respondem à pergunta. Esse pipeline reduz o risco de alucinações e permite que o sistema não invente nada quando a base simplesmente não contém o fato necessário. É essa a diferença entre uma busca apoiada em documentos e um resumo bonito, mas pouco confiável.

Por que o self-hosted importa

A tese central do artigo é que o problema não se resolve simplesmente conectando um LLM na nuvem. Em setores regulados, os dados não devem sair do perímetro da empresa nem na indexação, nem na busca, nem na geração da resposta. Por isso, o autor aposta em uma stack self-hosted: Qdrant local, Langfuse local para rastreamento, LangGraph para controle explícito de estados e Haystack para verificar a qualidade antes de ir para produção. Caso contrário, o próprio sistema de busca vira um novo ponto de risco para compliance e auditoria.

"Dados insuficientes" é melhor do que uma alucinação dita com confiança.

Outra conclusão prática diz respeito à infraestrutura. O Qwen2.5-72B-Instruct entrega a máxima qualidade, mas exige duas A100 80GB. Uma opção inicial mais realista para empresas é o Qwen2.5-32B-Instruct em uma única L40S: pela estimativa do autor, ele entrega cerca de 90% da qualidade do modelo maior, com custo bem menor. Isso faz do Hybrid RAG não um brinquedo de laboratório, mas uma arquitetura sólida para empresas que precisam de busca interna com custo total de propriedade claro.

O que isso significa

O Hybrid RAG se torna um jeito prático de dar vida aos arquivos corporativos sem abrir mão da segurança. Para as empresas, é o caminho da busca caótica em e-mails e SharePoint para um sistema que encontra o documento certo em segundos, mostra a fonte da resposta e não envia dados internos para uma API externa.

História

Perguntas frequentes sobre a notícia

Onde a busca falha?

O RAG comum funciona bem em uma base organizada e homogênea: um FAQ, um único regulamento ou um conjunto de documentos de texto limpos. Mas, no negócio real, os documentos têm formatos variados, estão em dois idiomas e muitas vezes trazem não só texto, mas também tabelas, códigos, números de artigo e páginas digitalizadas.

Como a stack é montada?

No esquema descrito, os documentos passam primeiro por uma análise estrutural. O Docling prepara as digitalizações e o layout, enquanto o modelo multimodal Qwen2.5-VL ajuda a ler tabelas complexas, anotações manuscritas e páginas mal reconhecidas. Em seguida, o modelo de embeddings BAAI/bge-m3 transforma os documentos e a pergunta do usuário em duas representações ao mesmo tempo: dense para busca por significado e sparse para correspondências exatas.

Por que o self-hosted importa?

A tese central do artigo é que o problema não se resolve simplesmente conectando um LLM na nuvem. Em setores regulados, os dados não devem sair do perímetro da empresa nem na indexação, nem na busca, nem na geração da resposta. Por isso, o autor aposta em uma stack self-hosted: Qdrant local, Langfuse local para rastreamento, LangGraph para controle explícito de estados e Haystack para verificar a qualidade antes de ir para produção.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…