Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoAnálisis · En radarHabr AI→ original

Base de conocimiento con RAG: 100 GB de archivos generan 1,5 millones de fragmentos y 9 horas de carga

Imagine una empresa con 100 GB de reglamentos, contratos e instrucciones que quiere cargar en una base de conocimiento corporativa con IA (esquema RAG: búsqueda de fragmentos de documentos más un modelo de lenguaje). Esos archivos se convertirán en aproximadamente 1,5 millones de fragmentos de texto, y procesarlos en una sola tarjeta gráfica llevará unas 9 horas. Con 10 TB, el proceso ya se alarga a 38 días. Por eso el hardware se calcula según el número de fragmentos, no de gigabytes, y se empieza por limpiar los datos, no por elegir el modelo.

Procesado por IA desde Habr AI; editado por Hamidun News
Base de conocimiento con RAG: 100 GB de archivos generan 1,5 millones de fragmentos y 9 horas de carga
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Para 1 TB de archivos15 millones de fragmentos y unos 4 días de carga
Dato clave #2Compresión de vectores a int8 y 1024 números: con 10 TB de archivos, 230 GB en lugar de 2,3 TB
Dato clave #3pgvector no construye un índice sobre el vector de 2560 números de Qwen3-Embedding-4B

Una empresa quiere que sus empleados hagan preguntas sobre los documentos internos con palabras corrientes y reciban una respuesta con enlace a la fuente. Para ello se construye una base de conocimiento con el esquema RAG: el sistema busca los fragmentos de documentos pertinentes y se los pasa a un modelo de lenguaje, que redacta la respuesta. La pregunta principal del arquitecto es cuánto costará en hardware.

La respuesta es inesperada: el tamaño del entorno no lo determina el modelo, sino el número de fragmentos en los que se trocean los documentos. En el ejemplo de los autores de la guía, 100 GB de archivos se convierten en 1,5 millones de fragmentos (trozos de texto de unos 500 tokens cada uno), y cargarlos en una sola tarjeta gráfica (GPU) lleva unas 9 horas. Con 10 TB, son ya 150 millones de fragmentos y 38 días.

La guía la ha publicado el equipo de ITGLOBAL.COM. Es material de un proveedor y las mediciones se hicieron en su infraestructura, pero como lista de verificación resulta útil para cualquiera que construya un sistema de este tipo.

Siete eslabones de la cadena y dónde se rompen

El modelo de lenguaje no conoce sus documentos, y reentrenarlo tras cada cambio de un reglamento es caro. Por eso no se entrena el modelo: con cada pregunta se le muestran los fragmentos encontrados. Si se actualiza el documento, se actualiza la respuesta. Por ejemplo, un empleado pregunta «cómo tramitar una excedencia sin sueldo», mientras que el reglamento dice «permiso sin mantenimiento del salario». La búsqueda por palabras fallará; la búsqueda por significado encontrará el párrafo correcto.

La cadena consta de siete eslabones, y la calidad de la respuesta la marca el más débil. Con más frecuencia es la búsqueda, no el modelo.

  1. Análisis de documentos (Docling, Apache Tika, Unstructured, OCR para escaneos). Las tablas se desmenuzan, los escaneos en ruso se leen como si fueran alfabeto latino y los encabezados y pies de página acaban en cada fragmento.
  2. División en fragmentos. Se corta por títulos y párrafos con un pequeño solapamiento y se añade el nombre del documento. Sin él, la «tabla de compensaciones» de dos SLA distintos parece idéntica.
  3. Embedder (Qwen3-Embedding, BGE-M3, multilingual-e5, GigaEmbeddings, Gemini Embedding). Suele elegirse según un ranking mundial y no se prueba con los propios documentos en ruso.
  4. Base de datos vectorial (pgvector, Qdrant, Milvus, Weaviate, OpenSearch). Errores típicos: no hay filtro por permisos de acceso y no se ha calculado la memoria necesaria para el índice.
  5. Búsqueda por palabras (BM25, búsqueda de texto completo de PostgreSQL). Hace falta para números de contrato y códigos de error. Las puntuaciones de la búsqueda por palabras y por significado no pueden sumarse sin llevarlas a una misma escala; de lo contrario, una búsqueda ahogará a la otra.
  6. Reranker (Qwen3-Reranker, bge-reranker, Voyage rerank, Cohere Rerank). Toma entre 20 y 50 fragmentos encontrados y los ordena con más precisión. Si se invoca sin la plantilla de consulta adecuada, el orden resultante será casi aleatorio.
  7. Modelo de lenguaje de respuesta (Qwen, GigaChat, YandexGPT, modelos extranjeros). Hay que prohibirle expresamente responder «de memoria» cuando no hay un fragmento pertinente.

Por encima se necesitan permisos de acceso y un conjunto de preguntas de control con respuestas conocidas. Solo cuatro componentes requieren GPU: el análisis de escaneos, el embedder, el reranker y el modelo de lenguaje. El resto funciona en servidores convencionales.

Qué base de datos vectorial elegir

  • pgvector: si ya se dispone de PostgreSQL y el número de fragmentos llega a decenas de millones. Los permisos se comprueban con SQL ordinario, pero el índice se construye sobre vectores de hasta 2000 números y el filtro por permisos se aplica después de la búsqueda.
  • Qdrant: base de datos independiente para de millones a cientos de millones de fragmentos. El filtro por permisos actúa durante la propia búsqueda y los vectores se comprimen entre 4 y 32 veces.
  • Milvus: cientos de millones y miles de millones de fragmentos, pero exige un equipo de operaciones: Kubernetes, etcd, almacenamiento de objetos.
  • Weaviate: cuando se necesita búsqueda híbrida lista para usar. La compresión está desactivada por defecto y no se declara compatibilidad con la morfología rusa.
  • OpenSearch: si ya se tiene búsqueda de texto completo sobre él. Para una búsqueda puramente vectorial resulta pesado.

Orientación de los autores: hasta 10 millones de fragmentos, las cinco opciones sirven; de 10 a 200 millones, Qdrant u OpenSearch con compresión; por encima, Milvus o un clúster de Qdrant.

Hay dos trampas. La primera: pgvector almacena el vector de 2560 números de Qwen3-Embedding-4B, pero no lo indexa. La salida es usar media precisión o un vector acortado, por ejemplo de 1024. La segunda: si un empleado solo tiene acceso a una pequeña parte de la base y el filtro por permisos se aplica después de la búsqueda, recibirá una respuesta vacía. El esquema de permisos se diseña junto con la elección de la base de datos.

Cómo calcular el entorno y comprobar los datos

En el ejemplo de los autores, el texto supone el 5% del volumen de los archivos, los duplicados el 30%, y cada fragmento tiene 500 tokens con un solapamiento del 15%. Resultado: 100 GB de archivos dan 1,5 millones de fragmentos, 23 GB de memoria para vectores de 2560 números y unas 9 horas de carga, con una velocidad del embedder de 20–22 mil tokens por segundo. Para 1 TB, son 15 millones de fragmentos y 4 días; para 10 TB, 150 millones y 38 días.

Comprimir los vectores a int8 y acortarlos a 1024 números reduce la memoria 10 veces: con 10 TB son 230 GB en lugar de 2,3 TB. Los coeficientes son orientativos; las proporciones reales de texto y duplicados se miden sobre una muestra del 1–2% de los archivos.

Para las respuestas, el tamaño de la base apenas importa. El vector de la pregunta se calcula en 0,19 s, el reranking de 20 fragmentos tarda 0,68 s y la mayor parte del tiempo se va en el modelo de lenguaje. Para modelos de 26–27 mil millones de parámetros basta una sola tarjeta de 80–96 GB, y ocho H200 para GLM-5 rara vez se justifican en una base de conocimiento.

La recomendación principal es empezar por los datos. Gartner señala que el 63% de las organizaciones no confía en sus prácticas de gestión de datos. Antes de escribir código hay que elaborar una lista de fuentes con sus responsables, estimar los duplicados (según los profesionales, en torno al 30% de versiones obsoletas y el 20% de copias), comprobar la calidad de los escaneos (por debajo de 300 dpi habrá errores), resolver las cuestiones de permisos y de la ley 152-FZ, y reunir como mínimo 30 preguntas reales con respuestas de referencia, y mejor entre 100 y 200. Con la mitad de archivos conectados, todo el cálculo se reduce a la mitad.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Siete eslabones de la cadena y dónde se rompen?

El modelo de lenguaje no conoce sus documentos, y reentrenarlo tras cada cambio de un reglamento es caro. Por eso no se entrena el modelo: con cada pregunta se le muestran los fragmentos encontrados. Si se actualiza el documento, se actualiza la respuesta. Por ejemplo, un empleado pregunta «cómo tramitar una excedencia sin sueldo», mientras que el reglamento dice «permiso sin mantenimiento del salario». La búsqueda por palabras fallará; la búsqueda por significado encontrará el párrafo correcto.

¿Qué se sabe sobre Qué base de datos vectorial elegir?

pgvector: si ya se dispone de PostgreSQL y el número de fragmentos llega a decenas de millones. Los permisos se comprueban con SQL ordinario, pero el índice se construye sobre vectores de hasta 2000 números y el filtro por permisos se aplica después de la búsqueda. Qdrant: base de datos independiente para de millones a cientos de millones de fragmentos. El filtro por permisos actúa durante la propia búsqueda y los vectores se comprimen entre 4 y 32 veces.

Cómo calcular el entorno y comprobar los datos?

En el ejemplo de los autores, el texto supone el 5% del volumen de los archivos, los duplicados el 30%, y cada fragmento tiene 500 tokens con un solapamiento del 15%. Resultado: 100 GB de archivos dan 1,5 millones de fragmentos, 23 GB de memoria para vectores de 2560 números y unas 9 horas de carga, con una velocidad del embedder de 20–22 mil tokens por segundo. Para 1 TB, son 15 millones de fragmentos y 4 días; para 10 TB, 150 millones y 38 días.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…