GeopoliticalQA: bge-m3 supera a los embeddings comerciales en 5 525 preguntas sobre informes

Un grupo de investigadores ha publicado en arXiv GeopoliticalQA, un benchmark para sistemas RAG que responden preguntas sobre informes analíticos geopolíticos y estratégicos. El conjunto incluye 415 informes abiertos y 5 525 pares «pregunta—respuesta», cada uno vinculado a un documento concreto. Eso equivale a unas 13 preguntas por informe. El resultado principal: a nivel de chunk, la calidad de la recuperación no crece con el tamaño del modelo de embeddings. La bge-m3, un modelo abierto de tamaño medio, igualó a modelos un orden de magnitud mayores y superó a las API comerciales de embeddings. La generación, por su parte, sigue siendo difícil incluso cuando el modelo recibe los fragmentos correctos.

Qué contiene el benchmark

Los informes analíticos encajan mal con un RAG estándar. Sus formatos varían, su estructura es heterogénea y las conclusiones más valiosas suelen repartirse entre varias secciones en lugar de estar en un solo párrafo. Los autores dividieron las preguntas en cuatro tipos: factuales, de inferencia (inferential), comparativas y orientadas a riesgos.

Las preguntas las genera un pipeline document-aware. Primero elabora un perfil del informe, es decir, determina de qué trata el documento y cómo está organizado, y solo después genera las preguntas. Así dependen menos de un fragmento de texto tomado al azar. La calidad del conjunto se comprobó de dos maneras: mediante anotación de expertos y con un protocolo LLM-as-judge, en el que un modelo de lenguaje emite la valoración.

• Corpus: 415 informes geopolíticos y estratégicos abiertos
• Anotación: 5 525 preguntas vinculadas a documentos
• Tipos de preguntas: factuales, de inferencia, comparativas y de riesgos
• Recuperación: 15 sistemas
• Generación: seis LLM open-weight
• Control de calidad: expertos y LLM-as-judge

Recuperación: la escala no lo resuelve

A nivel de documento, es decir, al elegir el informe correcto, los sistemas obtienen resultados similares. Las diferencias aparecen a nivel de chunk, donde hay que localizar un fragmento concreto dentro de un texto largo. Según los autores, aquí la calidad no depende de la escala del modelo de embeddings. bge-m3 se mantiene al nivel de modelos un orden de magnitud mayores y supera a las API comerciales de embeddings.

El resumen del artículo no menciona los nombres de todos los sistemas probados ni valores concretos de las métricas. Para conocer las diferencias exactas habrá que consultar las tablas del propio artículo. Aun así, la dirección es clara: una API de pago no garantiza una mejor recuperación en un corpus especializado.

Generación: un techo más bajo de lo esperado

Para la generación, los autores proporcionaron a seis LLM abiertos los fragmentos de referencia, es decir, eliminaron los errores de recuperación. Aun así, los modelos rinden mal, sobre todo en las preguntas de inferencia y de evaluación de riesgos. Las preguntas factuales son más sencillas: la respuesta está en el texto. Las conclusiones y los riesgos exigen contrastar afirmaciones, sopesar argumentos y formular un juicio que puede no aparecer literalmente en el informe. Y precisamente por ese tipo de respuestas se leen los informes analíticos.

Si la respuesta es mala con un contexto ideal, el problema no está en el retriever. Ajustar la recuperación no resolverá este problema.

Qué deberían hacer los equipos que construyen RAG

Primero: no elijan el modelo de embeddings por su tamaño o su precio. Prueben varios modelos en su propio corpus, incluida bge-m3 como línea base self-hosted. Además, los datos permanecen dentro del perímetro de la organización, algo importante para documentos sensibles.

Segundo: evalúen por separado la recuperación y la generación. El modo con fragmentos de referencia muestra el techo del generador y ayuda a entender en qué punto exacto falla el sistema.

Tercero: desglosen las métricas por tipo de pregunta. La media global ocultará el fracaso en las consultas de riesgos y de inferencia. Para ellas conviene mantener la revisión humana.

También hay limitaciones. El corpus se compone de informes abiertos, no de materiales cerrados, y parte de la validación se apoya en LLM-as-judge, con los sesgos que le son propios. Aun así, como benchmark para comparar enfoques de RAG sobre textos analíticos, resulta útil.