Base de conhecimento com RAG: 100 GB de arquivos viram 1,5 milhão de fragmentos e 9 horas de carga
Imagine uma empresa com 100 GB de regulamentos, contratos e instruções que precisam entrar em uma base de conhecimento corporativa com IA (arquitetura RAG: busca de trechos de documentos mais um modelo de linguagem). Os arquivos se transformam em cerca de 1,5 milhão de fragmentos de texto, e o processamento em uma única placa de vídeo leva por volta de 9 horas. Para 10 TB, são 38 dias. Por isso, o hardware é dimensionado pelo número de fragmentos, e não pelos gigabytes, e o trabalho começa pela limpeza dos dados, não pela escolha do modelo.
Processado por IA de Habr AI; editado por Hamidun News
Uma empresa quer que os funcionários façam perguntas sobre os documentos internos em linguagem natural e recebam uma resposta com link para a fonte. Para isso, monta-se uma base de conhecimento com RAG: o sistema busca os trechos relevantes dos documentos e os entrega a um modelo de linguagem, que redige a resposta. A principal dúvida do arquiteto é quanto isso vai custar em hardware.
A resposta surpreende: o tamanho do ambiente depende do número de fragmentos em que os documentos são cortados, e não do modelo. No exemplo dos autores do guia, 100 GB de arquivos viram 1,5 milhão de fragmentos (trechos de texto de cerca de 500 tokens), e a carga deles em uma única placa de vídeo (GPU) leva cerca de 9 horas. Para 10 TB, são 150 milhões de fragmentos e 38 dias.
O guia foi publicado pela equipe da ITGLOBAL.COM. O material é de um fornecedor, e as medições foram feitas na infraestrutura dele, mas como checklist ele serve para qualquer pessoa que esteja montando um sistema desse tipo.
Os sete elos da cadeia e onde eles quebram
O modelo de linguagem não conhece os seus documentos, e retreiná-lo a cada alteração de regulamento sai caro. Por isso, o modelo não é treinado: a cada pergunta, ele recebe os fragmentos encontrados. Atualizou o documento, atualizou a resposta. Por exemplo, o funcionário pergunta “como solicitar licença por conta própria”, mas o regulamento diz “licença sem manutenção da remuneração”. A busca por palavras erra o alvo; a busca por significado encontra o parágrafo certo.
A cadeia tem sete elos, e a qualidade da resposta é definida pelo mais fraco. Na maioria das vezes, esse elo é a busca, e não o modelo.
- Análise dos documentos (Docling, Apache Tika, Unstructured, OCR para digitalizações). Tabelas se desfazem, digitalizações em russo são lidas como alfabeto latino e cabeçalhos e rodapés entram em cada fragmento.
- Divisão em fragmentos. O corte segue títulos e parágrafos, com uma pequena sobreposição, e o nome do documento é acrescentado a cada fragmento. Sem ele, a “tabela de compensações” de dois SLAs diferentes fica idêntica.
- Embedder (Qwen3-Embedding, BGE-M3, multilingual-e5, GigaEmbeddings, Gemini Embedding). Ele costuma ser escolhido pelo ranking mundial e não é testado nos documentos em russo da própria empresa.
- Banco vetorial (pgvector, Qdrant, Milvus, Weaviate, OpenSearch). Erros típicos: falta de filtro por permissões de acesso e memória do índice mal calculada.
- Busca por palavras (BM25, busca de texto completo do PostgreSQL). Ela é necessária para números de contratos e códigos de erro. Não dá para somar as pontuações da busca por palavras e da busca por significado sem levá-las à mesma escala; do contrário, uma busca abafa a outra.
- Reranker (Qwen3-Reranker, bge-reranker, Voyage rerank, Cohere Rerank). Ele pega de 20 a 50 fragmentos encontrados e os reordena com mais precisão. Se for chamado sem o template de consulta adequado, a ordem fica quase aleatória.
- Modelo de linguagem da resposta (Qwen, GigaChat, YandexGPT, modelos estrangeiros). É preciso proibi-lo expressamente de responder “de cabeça” quando não houver o fragmento necessário.
Por cima disso, são necessários controle de acesso e um conjunto de perguntas de teste com respostas conhecidas. Só quatro componentes exigem GPU: a análise de digitalizações, o embedder, o reranker e o modelo de linguagem. O restante roda em servidores comuns.
Qual banco vetorial escolher
- pgvector — quando já existe um PostgreSQL e o volume é de até dezenas de milhões de fragmentos. As permissões são verificadas com SQL comum, mas o índice aceita vetores de até 2000 números, e o filtro de permissões é aplicado depois da busca.
- Qdrant — banco dedicado para de milhões a centenas de milhões de fragmentos. O filtro de permissões funciona durante a própria busca, e os vetores são comprimidos de 4 a 32 vezes.
- Milvus — centenas de milhões e bilhões de fragmentos, mas exige uma equipe de operação: Kubernetes, etcd, armazenamento de objetos.
- Weaviate — quando a busca híbrida pronta de fábrica é necessária. A compressão vem desativada por padrão, e a morfologia do russo não consta como suportada.
- OpenSearch — se a empresa já tem busca de texto completo nele. Para busca vetorial isolada, é pesado.
A referência dos autores: até 10 milhões de fragmentos, as cinco opções dão conta; de 10 a 200 milhões, Qdrant ou OpenSearch com compressão; acima disso, Milvus ou um cluster de Qdrant.
Há duas armadilhas. A primeira: o vetor de 2560 números do Qwen3-Embedding-4B o pgvector armazena, mas não indexa. A saída é usar meia precisão ou um vetor encurtado, por exemplo de 1024. A segunda: se o funcionário tem acesso a uma pequena parte da base e o filtro de permissões é aplicado depois da busca, ele recebe uma resposta vazia. O esquema de permissões deve ser projetado junto com a escolha do banco.
Dimensionando o ambiente e verificando os dados
No exemplo dos autores, o texto corresponde a 5% do volume dos arquivos, as repetições somam 30%, e cada fragmento tem 500 tokens com sobreposição de 15%. O resultado: 100 GB de arquivos geram 1,5 milhão de fragmentos, 23 GB de memória para vetores de 2560 números e cerca de 9 horas de carga, com o embedder processando de 20 a 22 mil tokens por segundo. Com 1 TB, são 15 milhões de fragmentos e 4 dias; com 10 TB, 150 milhões e 38 dias.
A compressão dos vetores para int8 com encurtamento para 1024 números reduz a memória em 10 vezes: em 10 TB, são 230 GB em vez de 2,3 TB. Os coeficientes são ilustrativos; as proporções reais de texto e de repetições devem ser medidas em uma amostra de 1 a 2% dos arquivos.
Para as respostas, o tamanho da base quase não importa. O vetor da pergunta é calculado em 0,19 s, o reranking de 20 fragmentos leva 0,68 s, e a maior parte do tempo vai para o modelo de linguagem. Para modelos de 26 a 27 bilhões de parâmetros, basta uma placa de 80 a 96 GB, e oito H200 para rodar o GLM-5 raramente se justificam em uma base de conhecimento.
A principal recomendação é começar pelos dados. A Gartner afirma que 63% das organizações não têm certeza sobre as próprias práticas de gestão de dados. Antes de escrever código, é preciso listar as fontes com seus responsáveis, estimar as repetições (segundo estimativas de profissionais da área, cerca de 30% de versões desatualizadas e 20% de duplicatas), verificar a qualidade das digitalizações (abaixo de 300 dpi haverá erros), resolver as questões de permissões e da Lei 152-FZ e reunir no mínimo 30, e de preferência de 100 a 200, perguntas reais com respostas de referência. Metade dos arquivos conectados significa metade de tudo no cálculo.
- 19 de nov. de 2026IAs incluíram escola na lista de alvos militares em 70% dos testes da Vals AI
- 19 de nov. de 2026Q.ANT e AMD lançam LLM de 1 bilhão de parâmetros com chip óptico no lugar da atenção
- 19 de nov. de 2026A palavra “videogame” elevou a disposição do GPT-6 Astra de escolher alvos de 6% para 92%
- 19 de nov. de 2026AWS adiciona ao SageMaker um ranking com 70+ modelos: qualidade, velocidade e preço na mesma tabela
Perguntas frequentes sobre a notícia
O que se sabe sobre Os sete elos da cadeia e onde eles quebram?
O modelo de linguagem não conhece os seus documentos, e retreiná-lo a cada alteração de regulamento sai caro. Por isso, o modelo não é treinado: a cada pergunta, ele recebe os fragmentos encontrados. Atualizou o documento, atualizou a resposta. Por exemplo, o funcionário pergunta “como solicitar licença por conta própria”, mas o regulamento diz “licença sem manutenção da remuneração”. A busca por palavras erra o alvo; a busca por significado encontra o parágrafo certo.
O que se sabe sobre Qual banco vetorial escolher?
pgvector — quando já existe um PostgreSQL e o volume é de até dezenas de milhões de fragmentos. As permissões são verificadas com SQL comum, mas o índice aceita vetores de até 2000 números, e o filtro de permissões é aplicado depois da busca. Qdrant — banco dedicado para de milhões a centenas de milhões de fragmentos. O filtro de permissões funciona durante a própria busca, e os vetores são comprimidos de 4 a 32 vezes.
O que se sabe sobre Dimensionando o ambiente e verificando os dados?
No exemplo dos autores, o texto corresponde a 5% do volume dos arquivos, as repetições somam 30%, e cada fragmento tem 500 tokens com sobreposição de 15%. O resultado: 100 GB de arquivos geram 1,5 milhão de fragmentos, 23 GB de memória para vetores de 2560 números e cerca de 9 horas de carga, com o embedder processando de 20 a 22 mil tokens por segundo. Com 1 TB, são 15 milhões de fragmentos e 4 dias; com 10 TB, 150 milhões e 38 dias.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.