SciGraph: cómo un grafo de relaciones científicas supera a la búsqueda de texto

SciGraph es un caso de estudio sobre cómo funciona el enfoque de grafos (GraphRAG) en artículos científicos y por qué el RAG tradicional, que simplemente busca texto relevante, se pierde en las citas y la metodología.

El problema: el RAG convencional busca texto a ciegas

El RAG clásico (Retrieval-Augmented Generation) toma la pregunta de un investigador, encuentra texto similar en una base de artículos y se lo pasa a un LLM. El problema: los artículos científicos no son simples conjuntos de texto, sino un grafo de relaciones entre autores, métodos, conclusiones y citas. Si solo extraes fragmentos de texto, pierdes el contexto y la lógica de la investigación.

Un ejemplo: un investigador pregunta «¿Cómo aplican los autores X el método Y y qué resultados obtuvieron?». El RAG convencional encontrará una mención del método en el primer artículo que aparezca, pero no entenderá que se trata precisamente de la aplicación del método Y por los autores X, realizada en 2023, con el resultado Z. El grafo lo ve de inmediato gracias a las relaciones entre nodos.

La solución: un grafo de relaciones en lugar de búsqueda de texto

SciGraph construye un grafo cuyos nodos son autores, métodos, conclusiones, citas, objetos de estudio y periodos temporales. Las aristas son las relaciones entre ellos (quién es el autor, qué métodos aplica, a qué trabajos remite). Cuando un investigador pregunta algo, el sistema se desplaza por el grafo, encuentra los nodos y relaciones necesarios y genera una respuesta basada en la estructura, no solo en la similitud del texto.

El sistema conecta:

• Autores y sus trabajos científicos, coautorías
• Metodologías y sus aplicaciones en distintos contextos
• Citas, influencia y desarrollo de ideas
• Preguntas del investigador con rutas relevantes en el grafo

Suena elegante y lógico, pero aquí empieza lo interesante.

Dónde la arquitectura elegante choca con la realidad

Los autores de SciGraph mostraron con franqueza en el caso que las métricas estándar (BLEU, ROUGE) no cuentan toda la historia. Cuando SciGraph se aplica a preguntas de investigación reales (no de benchmarks, sino de científicos de verdad), los resultados son peores de lo que sugerían las cifras.

¿Por qué? Porque el grafo exige datos perfectamente limpios. Si en un artículo en PDF los autores cometieron una errata en un apellido, el grafo lo tomará como un autor distinto. Si la metodología se describe de forma vaga y sin nombres claros, el grafo no extraerá la relación. Si las citas están incompletas o tienen formatos distintos, el grafo tendrá huecos. Y por esos huecos se caen las respuestas a preguntas complejas.

La arquitectura elegante es necesaria, pero sin métricas honestas

sobre preguntas reales y no estructuradas, es solo un grafo bonito en el vacío.

Qué significa para investigadores y desarrolladores

SciGraph apunta a una tendencia: los sistemas RAG para literatura científica pasarán de «encuentra texto similar» a «comprende la estructura de las relaciones». Pero es un camino con trampas.

Para el investigador: la búsqueda en grafos puede ofrecer mejor contexto, pero solo si la base de datos es de buena calidad.

Para los desarrolladores de sistemas RAG: hay que medir las métricas con honestidad, no en benchmarks depurados, sino en casos reales y errores.

Para el avance de la ciencia: el grafo para artículos científicos funciona, pero exige datos limpios, algo que a veces resulta más difícil que la propia arquitectura.