PageIndex de VectifyAI ofrece búsqueda sin embeddings para documentos largos

PageIndex es uno de los nuevos contendientes más notables para el papel de 'RAG sin base de datos vectorial'. En lugar del esquema familiar con embeddings y chunks, el sistema construye un índice jerárquico para el documento con descripciones breves de secciones, y luego pide a un LLM que seleccione lógicamente nodos relevantes y páginas asociadas. El enfoque se ve fresco y para PDFs largos y bien estructurados puede funcionar más cerca de cómo un humano lee un documento.

La mecánica de PageIndex es relativamente simple. El documento se divide primero por páginas, después de lo cual el modelo y el código de apoyo compilan una tabla de contenidos expandida — un árbol de secciones con títulos, rangos de páginas y resúmenes para cada nodo. Cuando llega una pregunta, el prompt no envía todo el documento o un conjunto de chunks de texto aleatorios, sino esta estructura en sí. El LLM selecciona ramas relevantes del árbol, y luego solo las páginas anexadas a ellas se sustituyen en la consulta final.

Como resultado, el sistema se arregla sin embeddings, sin almacenamiento vectorial y sin chunking artificial, que a menudo rompe el significado en los límites de los fragmentos. Por eso hay tanto interés en torno a PageIndex. En largos informes financieros, documentos legales, manuales técnicos y materiales educativos, tal enfoque se ve natural: los humanos también generalmente comienzan con un índice en lugar de examinar el texto en pedazos.

En el repositorio del proyecto, los desarrolladores de VectifyAI posicionan directamente el sistema como retrieval basado en razonamiento y afirman que en FinanceBench logró una precisión de 98,7%. Para equipos que trabajan con un solo documento grande o una pequeña colección de PDF complejos, esto suena como una fuerte alternativa al pipeline RAG convencional, especialmente si deseas una búsqueda más interpretable con referencias claras a secciones y páginas.

Pero la pregunta principal no es si la búsqueda vectorial puede ser reemplazada por PageIndex, sino dónde alcanza sus límites este enfoque. La crítica aquí es bastante pragmática. Primero, el TOC también necesita almacenarse en algún lugar, especialmente si hay más de un documento, así que el discurso de 'completamente sin índice' es ligeramente engañoso.

Segundo, para colecciones grandes aún no hay una estrategia convincente para la selección de documentos: metadatos, búsqueda por palabras clave, TF-IDF y BM25 no desaparecen y a menudo permanecen como un filtro inicial económico. Tercero, la recuperación por razonamiento es casi inevitablemente más cara en tokens y más lenta en tiempo de respuesta. Si un buen RAG vectorial ya ofrece aproximadamente 90% de calidad, los puntos porcentuales adicionales de precisión pueden costar varias veces más — y para no todo producto este es un intercambio razonable.

La práctica también muestra limitaciones. En análisis, se observa que PageIndex tuvo un desempeño deficiente con texto literario sin estructura explícita: si un documento no tiene secciones ni encabezados, simplemente no hay nada para construir un 'índice inteligente'. Los resultados fueron mejores con texto académico porque tiene una jerarquía adecuada de secciones. Puedes ejecutar el sistema localmente a través del repositorio abierto: instala las dependencias, establece una clave de API para un LLM compatible a través de LiteLLM y ejecuta un PDF o markdown a través de run_pageindex.py.

Pero hay matices aquí también: el autor advierte por separado sobre la versión de LiteLLM, desaconseja instalar el paquete pageindex en la nube desde pip para trabajo local, y describe cómo en modelos locales débiles la calidad del árbol se degrada notablemente, y el proceso en sí puede tomar docenas de minutos incluso en un documento relativamente pequeño.

¿Qué significa esto en la práctica? PageIndex no se ve como un asesino de la búsqueda vectorial, pero se ve como una nueva capa útil en la arquitectura RAG. La forma más lógica de verlo es no como un reemplazo directo, sino como una herramienta especializada para documentos largos y estructurados donde la explicabilidad, la precisión de navegación y el procesamiento página por página importan. El escenario más realista es híbrido: primero una búsqueda barata por metadatos o vectores, luego PageIndex para selección precisa de secciones. Tal compromiso refleja mejor la realidad: aún no hay un reemplazo universal para RAG vectorial, pero los enfoques centrados en documentos como PageIndex ya tienen su propio nicho claramente definido.