Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarQdrant Blog→ original

Un vector por documento de 32K tokens encuentra un detalle en el 30 % de los casos; los fragmentos, en el 56 %

El chunking consiste en trocear un documento en fragmentos, y UltraBERT, con una ventana de 32 000 tokens, prometía eliminarlo: todo el texto cabe en un solo vector. Qdrant lo probó con ensayos en los que se había insertado una única frase ajena: con 32K tokens, el vector completo encontraba el ensayo correcto en el 30 % de los casos, mientras que los fragmentos de 512 tokens lo hacían en el 56 %. Con 256 tokens, el mismo vector acertaba en el 84 % de los casos. Para la búsqueda de detalles, los fragmentos siguen siendo la base.

Procesado por IA desde Qdrant Blog; editado por Hamidun News
Un vector por documento de 32K tokens encuentra un detalle en el 30 % de los casos; los fragmentos, en el 56 %
Fuente: Qdrant Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalQdrant Blog ↗
Editor jefe
Tarea con contraseñael vector completo acertó en el 99 % de los casos.
Compresión 30 veces200 000 artículos ocupan unos 140 MB.
Dato clave #3Procesar documentos completos en una NVIDIA L4 tarda 3 veces más que procesar fragmentos.

Todo el que ha construido un buscador de documentos o un RAG se ha topado con la misma pregunta: en qué trozos cortar el texto. Si el fragmento es demasiado pequeño, pierde contexto. Si es demasiado grande, el modelo de embeddings lo trunca. El modelo UltraBERT, de DMIS Lab, prometía resolver el problema: acepta hasta 32 000 tokens y genera un único vector de 768 dimensiones para todo el documento. En ese escenario, en principio, no haría falta dividir en fragmentos (trozos de longitud fija, por ejemplo de 512 tokens). El equipo de Qdrant lo comprobó en la práctica. La respuesta corta es que, por ahora, sí hace falta.

Qué se comparó exactamente

UltraBERT es un modelo de embeddings denso de 151 millones de parámetros. Está construido sobre un codificador en inglés entrenado para entradas de 32K tokens, por lo que la mayoría de los documentos se procesan en una sola pasada.

Qdrant comparó cuatro variantes: un vector para el documento completo, fragmentos de 512 tokens, ambos enfoques combinados y todo lo anterior en formato comprimido. Los documentos de las pruebas son largos, con una media de entre 7600 y 13 800 tokens. Las tareas fueron distintas: localizar la transcripción de un episodio a partir de su resumen, responder a una pregunta que requiere varios artículos de Wikipedia o encontrar un fragmento concreto de una reunión.

Hubo además dos pruebas sintéticas: en una, la contraseña estaba oculta dentro del texto; en la otra, se insertaba una única frase ajena en un ensayo y había que encontrar el ensayo a partir de una pregunta sobre esa frase. Para evaluar a gran escala se usaron 200 000 artículos en inglés de Wikipedia y 800 preguntas, cada una sobre un único artículo.

Los fragmentos siguen encontrando los detalles

El vector completo sí lee los 32K tokens. En la tarea de la contraseña colocó el documento correcto en primer lugar en el 99 % de los casos para todas las longitudes, y con 32K tokens no falló ni una vez. Pero en la mayoría de las demás tareas, los fragmentos resultaron más precisos.

Los fragmentos ganaron cuando la respuesta está repartida en varios párrafos: en 2WikiMultihopQA, QMSum y MLDR. El vector completo solo ganó en SummScreenFD, donde la consulta describe el episodio en su conjunto.

La prueba con la frase ajena muestra bien el motivo. Imagine un ensayo largo en el que se inserta una frase que no viene a cuento. Un solo vector no puede retener cada uno de esos detalles. Con 256 tokens, el vector completo encontró el ensayo correcto en el 84 % de los casos; con 32K tokens, solo en el 30 %. Los fragmentos de 512 tokens, con esa misma longitud, alcanzaron el 56 %.

La solución híbrida, que busca tanto por el vector completo como por los fragmentos y fusiona los resultados, aportó poco. En SummScreenFD y Needle la mejora fue de hasta 0,02 y 0,03 en la escala de la métrica, es decir, 2 o 3 puntos sobre 100. En 2WikiMultihopQA, QMSum y MLDR, el híbrido fue peor que los fragmentos por sí solos, sobre todo en MLDR.

Cuánto cuestan los fragmentos y cómo comprimirlos

El principal argumento en contra de los fragmentos es el número de vectores. Los artículos de MLDR se dividen de media en 7 fragmentos, lo que da un total de 1,43 millones de vectores. En float32 eso supone unos 4 GB.

La cuantización comprime cada vector de 3072 bytes a 104, es decir, 30 veces menos. Los 200 000 artículos ocupan unos 140 MB de memoria RAM. Cada fragmento se almacenó como un punto independiente en Qdrant, y la consulta agrupada devolvía cada artículo una sola vez.

Con respecto a la búsqueda exacta, los vectores comprimidos conservaron el 95 % de la calidad, y el 98 % con recálculo (rescoring) con los vectores originales. Los vectores sin comprimir del mismo índice alcanzaron el 99 %. El recálculo tiene un coste: en la prueba, los vectores originales estaban en disco y leerlos añadía de 4 a 11 ms por consulta. Con la caché de disco en frío, la latencia superaba los 100 ms.

El vector completo se comprime peor que los fragmentos. En MLDR, con 1 bit conservó el 89 % de la calidad. Con 2 bits, el resultado igualó al del vector sin comprimir del mismo índice. Por tanto, conviene empezar con 2 bits o mantener el recálculo.

Qué hacer en la práctica

Los documentos completos, además, resultan más caros. Generar los embeddings de las transcripciones de SummScreenFD completas tardó unas 3 veces más que generar los de fragmentos de 512 tokens en una NVIDIA L4.

Las recomendaciones de Qdrant son:

  • Para buscar detalles, empiece con fragmentos de 512 tokens.
  • Para preguntas sobre hechos concretos, pruebe con 256.
  • La compresión hace más asequibles los vectores adicionales, pero compruebe la calidad y la latencia del recálculo con sus propias consultas.

UltraBERT tiene también otro uso. Se puede buscar primero por documentos completos para identificar el tema y, después, buscar la respuesta dentro de los fragmentos de los documentos encontrados. Los autores consideran que este esquema en dos etapas merece la pena probarse, sobre todo porque la simple combinación de dos búsquedas no mejoró los resultados de forma consistente.

Limitación del estudio: las pruebas son en inglés y sobre benchmarks concretos; con su propio corpus, las cifras pueden variar. Aun así, la conclusión es clara: una ventana de 32K tokens da más libertad para decidir qué representa un vector, pero no elimina la necesidad de trocear el texto.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se comparó exactamente?

UltraBERT es un modelo de embeddings denso de 151 millones de parámetros. Está construido sobre un codificador en inglés entrenado para entradas de 32K tokens, por lo que la mayoría de los documentos se procesan en una sola pasada. Qdrant comparó cuatro variantes: un vector para el documento completo, fragmentos de 512 tokens, ambos enfoques combinados y todo lo anterior en formato comprimido. Los documentos de las pruebas son largos, con una media de entre 7600 y 13 800 tokens.

¿Qué se sabe sobre Los fragmentos siguen encontrando los detalles?

El vector completo sí lee los 32K tokens. En la tarea de la contraseña colocó el documento correcto en primer lugar en el 99 % de los casos para todas las longitudes, y con 32K tokens no falló ni una vez. Pero en la mayoría de las demás tareas, los fragmentos resultaron más precisos. Los fragmentos ganaron cuando la respuesta está repartida en varios párrafos: en 2WikiMultihopQA, QMSum y MLDR. El vector completo solo ganó en SummScreenFD, donde la consulta describe el episodio en su conjunto.

¿Qué se sabe sobre Cuánto cuestan los fragmentos y cómo comprimirlos?

El principal argumento en contra de los fragmentos es el número de vectores. Los artículos de MLDR se dividen de media en 7 fragmentos, lo que da un total de 1,43 millones de vectores. En float32 eso supone unos 4 GB. La cuantización comprime cada vector de 3072 bytes a 104, es decir, 30 veces menos. Los 200 000 artículos ocupan unos 140 MB de memoria RAM. Cada fragmento se almacenó como un punto independiente en Qdrant, y la consulta agrupada devolvía cada artículo una sola vez.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…