Chunking
El chunking es el proceso de dividir documentos fuente en segmentos de texto más pequeños antes de incorporarlos y almacenarlos en una base de datos vectorial, habilitando recuperación eficiente y precisa en sistemas RAG y de búsqueda.
El chunking es el proceso de dividir documentos fuente grandes en segmentos de texto más pequeños y autosuficientes — llamados chunks — antes de convertirlos en embeddings vectoriales y almacenarlos en una base de datos vectorial. Debido a que los modelos de embedding producen un único vector de tamaño fijo por entrada y las ventanas de contexto del modelo de lenguaje tienen límites de tokens, incorporar un documento largo completo colapsa el significado de grano fino en una única representación, haciendo que la recuperación precisa sea impráctica sin segmentación previa.
La elección de la estrategia de chunking afecta significativamente la calidad de la recuperación. El chunking de tamaño fijo divide el texto en un recuento de tokens establecido, típicamente 256–1024 tokens, a menudo con una superposición deslizante del 10–20% para preservar el contexto entre límites de segmentos. El chunking basado en oraciones y párrafos respeta unidades lingüísticas naturales. El chunking semántico identifica límites de cambio de tema dentro del texto y divide allí en lugar de hacerlo en recuentos de caracteres arbitrarios. El chunking jerárquico almacena representaciones tanto de grano fino como de grano grueso del mismo contenido, habilitando recuperación a múltiples niveles de granularidad. Frameworks como LangChain y LlamaIndex exponen estas estrategias como opciones configurables con parámetros ajustables.
El tamaño del chunk crea una compensación directa: chunks más pequeños producen mayor precisión de recuperación — el texto devuelto es estrictamente relevante — pero pueden omitir contexto circundante necesario; chunks más grandes proporcionan más contexto pero diluyen puntuaciones de relevancia cuando solo parte del chunk coincide con la consulta. Esto hace que el tamaño del chunk y la superposición sean hiperparámetros ajustables que los profesionales optimizan empíricamente para cada corpus y tarea.
A partir de 2026, el chunking a nivel de proposición — donde cada chunk representa una única afirmación factual extraída de la fuente — ha mostrado un desempeño sólido en benchmarks de recuperación. Las herramientas para optimización automática de chunking están emergiendo como parte de los pipelines de evaluación RAG. La disponibilidad de modelos con ventanas de contexto de un millón o más tokens no ha eliminado el chunking, porque segmentos enfocados y semánticamente coherentes aún superan la recuperación indiscriminada de documentos completos para la mayoría de tipos de consultas.