Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarHabr AI→ original

Base de conhecimento com RAG: 100 GB de arquivos viram 1,5 milhão de fragmentos e 9 horas de carga

Imagine uma empresa com 100 GB de regulamentos, contratos e instruções que precisam entrar em uma base de conhecimento corporativa com IA (arquitetura RAG: busca de trechos de documentos mais um modelo de linguagem). Os arquivos se transformam em cerca de 1,5 milhão de fragmentos de texto, e o processamento em uma única placa de vídeo leva por volta de 9 horas. Para 10 TB, são 38 dias. Por isso, o hardware é dimensionado pelo número de fragmentos, e não pelos gigabytes, e o trabalho começa pela limpeza dos dados, não pela escolha do modelo.

Processado por IA de Habr AI; editado por Hamidun News
Base de conhecimento com RAG: 100 GB de arquivos viram 1,5 milhão de fragmentos e 9 horas de carga
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Para 1 TB de arquivos15 milhões de fragmentos e cerca de 4 dias de carga
Dado-chave #2Compressão dos vetores para int8 e 1024 números: em 10 TB de arquivos, 230 GB em vez de 2,3 TB
Dado-chave #3O pgvector não cria índice para o vetor de 2560 números do Qwen3-Embedding-4B

Uma empresa quer que os funcionários façam perguntas sobre os documentos internos em linguagem natural e recebam uma resposta com link para a fonte. Para isso, monta-se uma base de conhecimento com RAG: o sistema busca os trechos relevantes dos documentos e os entrega a um modelo de linguagem, que redige a resposta. A principal dúvida do arquiteto é quanto isso vai custar em hardware.

A resposta surpreende: o tamanho do ambiente depende do número de fragmentos em que os documentos são cortados, e não do modelo. No exemplo dos autores do guia, 100 GB de arquivos viram 1,5 milhão de fragmentos (trechos de texto de cerca de 500 tokens), e a carga deles em uma única placa de vídeo (GPU) leva cerca de 9 horas. Para 10 TB, são 150 milhões de fragmentos e 38 dias.

O guia foi publicado pela equipe da ITGLOBAL.COM. O material é de um fornecedor, e as medições foram feitas na infraestrutura dele, mas como checklist ele serve para qualquer pessoa que esteja montando um sistema desse tipo.

Os sete elos da cadeia e onde eles quebram

O modelo de linguagem não conhece os seus documentos, e retreiná-lo a cada alteração de regulamento sai caro. Por isso, o modelo não é treinado: a cada pergunta, ele recebe os fragmentos encontrados. Atualizou o documento, atualizou a resposta. Por exemplo, o funcionário pergunta “como solicitar licença por conta própria”, mas o regulamento diz “licença sem manutenção da remuneração”. A busca por palavras erra o alvo; a busca por significado encontra o parágrafo certo.

A cadeia tem sete elos, e a qualidade da resposta é definida pelo mais fraco. Na maioria das vezes, esse elo é a busca, e não o modelo.

  1. Análise dos documentos (Docling, Apache Tika, Unstructured, OCR para digitalizações). Tabelas se desfazem, digitalizações em russo são lidas como alfabeto latino e cabeçalhos e rodapés entram em cada fragmento.
  2. Divisão em fragmentos. O corte segue títulos e parágrafos, com uma pequena sobreposição, e o nome do documento é acrescentado a cada fragmento. Sem ele, a “tabela de compensações” de dois SLAs diferentes fica idêntica.
  3. Embedder (Qwen3-Embedding, BGE-M3, multilingual-e5, GigaEmbeddings, Gemini Embedding). Ele costuma ser escolhido pelo ranking mundial e não é testado nos documentos em russo da própria empresa.
  4. Banco vetorial (pgvector, Qdrant, Milvus, Weaviate, OpenSearch). Erros típicos: falta de filtro por permissões de acesso e memória do índice mal calculada.
  5. Busca por palavras (BM25, busca de texto completo do PostgreSQL). Ela é necessária para números de contratos e códigos de erro. Não dá para somar as pontuações da busca por palavras e da busca por significado sem levá-las à mesma escala; do contrário, uma busca abafa a outra.
  6. Reranker (Qwen3-Reranker, bge-reranker, Voyage rerank, Cohere Rerank). Ele pega de 20 a 50 fragmentos encontrados e os reordena com mais precisão. Se for chamado sem o template de consulta adequado, a ordem fica quase aleatória.
  7. Modelo de linguagem da resposta (Qwen, GigaChat, YandexGPT, modelos estrangeiros). É preciso proibi-lo expressamente de responder “de cabeça” quando não houver o fragmento necessário.

Por cima disso, são necessários controle de acesso e um conjunto de perguntas de teste com respostas conhecidas. Só quatro componentes exigem GPU: a análise de digitalizações, o embedder, o reranker e o modelo de linguagem. O restante roda em servidores comuns.

Qual banco vetorial escolher

  • pgvector — quando já existe um PostgreSQL e o volume é de até dezenas de milhões de fragmentos. As permissões são verificadas com SQL comum, mas o índice aceita vetores de até 2000 números, e o filtro de permissões é aplicado depois da busca.
  • Qdrant — banco dedicado para de milhões a centenas de milhões de fragmentos. O filtro de permissões funciona durante a própria busca, e os vetores são comprimidos de 4 a 32 vezes.
  • Milvus — centenas de milhões e bilhões de fragmentos, mas exige uma equipe de operação: Kubernetes, etcd, armazenamento de objetos.
  • Weaviate — quando a busca híbrida pronta de fábrica é necessária. A compressão vem desativada por padrão, e a morfologia do russo não consta como suportada.
  • OpenSearch — se a empresa já tem busca de texto completo nele. Para busca vetorial isolada, é pesado.

A referência dos autores: até 10 milhões de fragmentos, as cinco opções dão conta; de 10 a 200 milhões, Qdrant ou OpenSearch com compressão; acima disso, Milvus ou um cluster de Qdrant.

Há duas armadilhas. A primeira: o vetor de 2560 números do Qwen3-Embedding-4B o pgvector armazena, mas não indexa. A saída é usar meia precisão ou um vetor encurtado, por exemplo de 1024. A segunda: se o funcionário tem acesso a uma pequena parte da base e o filtro de permissões é aplicado depois da busca, ele recebe uma resposta vazia. O esquema de permissões deve ser projetado junto com a escolha do banco.

Dimensionando o ambiente e verificando os dados

No exemplo dos autores, o texto corresponde a 5% do volume dos arquivos, as repetições somam 30%, e cada fragmento tem 500 tokens com sobreposição de 15%. O resultado: 100 GB de arquivos geram 1,5 milhão de fragmentos, 23 GB de memória para vetores de 2560 números e cerca de 9 horas de carga, com o embedder processando de 20 a 22 mil tokens por segundo. Com 1 TB, são 15 milhões de fragmentos e 4 dias; com 10 TB, 150 milhões e 38 dias.

A compressão dos vetores para int8 com encurtamento para 1024 números reduz a memória em 10 vezes: em 10 TB, são 230 GB em vez de 2,3 TB. Os coeficientes são ilustrativos; as proporções reais de texto e de repetições devem ser medidas em uma amostra de 1 a 2% dos arquivos.

Para as respostas, o tamanho da base quase não importa. O vetor da pergunta é calculado em 0,19 s, o reranking de 20 fragmentos leva 0,68 s, e a maior parte do tempo vai para o modelo de linguagem. Para modelos de 26 a 27 bilhões de parâmetros, basta uma placa de 80 a 96 GB, e oito H200 para rodar o GLM-5 raramente se justificam em uma base de conhecimento.

A principal recomendação é começar pelos dados. A Gartner afirma que 63% das organizações não têm certeza sobre as próprias práticas de gestão de dados. Antes de escrever código, é preciso listar as fontes com seus responsáveis, estimar as repetições (segundo estimativas de profissionais da área, cerca de 30% de versões desatualizadas e 20% de duplicatas), verificar a qualidade das digitalizações (abaixo de 300 dpi haverá erros), resolver as questões de permissões e da Lei 152-FZ e reunir no mínimo 30, e de preferência de 100 a 200, perguntas reais com respostas de referência. Metade dos arquivos conectados significa metade de tudo no cálculo.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Os sete elos da cadeia e onde eles quebram?

O modelo de linguagem não conhece os seus documentos, e retreiná-lo a cada alteração de regulamento sai caro. Por isso, o modelo não é treinado: a cada pergunta, ele recebe os fragmentos encontrados. Atualizou o documento, atualizou a resposta. Por exemplo, o funcionário pergunta “como solicitar licença por conta própria”, mas o regulamento diz “licença sem manutenção da remuneração”. A busca por palavras erra o alvo; a busca por significado encontra o parágrafo certo.

O que se sabe sobre Qual banco vetorial escolher?

pgvector — quando já existe um PostgreSQL e o volume é de até dezenas de milhões de fragmentos. As permissões são verificadas com SQL comum, mas o índice aceita vetores de até 2000 números, e o filtro de permissões é aplicado depois da busca. Qdrant — banco dedicado para de milhões a centenas de milhões de fragmentos. O filtro de permissões funciona durante a própria busca, e os vetores são comprimidos de 4 a 32 vezes.

O que se sabe sobre Dimensionando o ambiente e verificando os dados?

No exemplo dos autores, o texto corresponde a 5% do volume dos arquivos, as repetições somam 30%, e cada fragmento tem 500 tokens com sobreposição de 15%. O resultado: 100 GB de arquivos geram 1,5 milhão de fragmentos, 23 GB de memória para vetores de 2560 números e cerca de 9 horas de carga, com o embedder processando de 20 a 22 mil tokens por segundo. Com 1 TB, são 15 milhões de fragmentos e 4 dias; com 10 TB, 150 milhões e 38 dias.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…