El benchmark DRAGOn de MWS AI y Sber evalúa RAG con noticias recientes: 150 preguntas por categoría
RAG consiste en que el modelo busca datos en tu base antes de responder, pero evaluarlo de forma honesta es difícil: el modelo pudo haber visto las pruebas antiguas durante el entrenamiento. DRAGOn, de MWS AI y Sber, toma noticias recientes, extrae hechos y descarta los que ya aparecen en Wikidata. Con los que quedan se crean preguntas de cuatro tipos, con las 150 mejores por categoría. Por eso, la comparación de RAG resulta más fiable si se hace con conocimiento que el modelo no tenía.
Procesado por IA desde Habr: MTS AI; editado por Hamidun News
Hoy se puede montar un sistema RAG en una tarde: conectar una base vectorial, elegir un modelo de embeddings y añadir un LLM. RAG (Retrieval-Augmented Generation) significa que, antes de responder, el modelo primero busca los documentos necesarios en la base conectada y los añade a la consulta. Es mucho más difícil determinar si todo esto funciona bien.
El artículo DRAGOn: Designing RAG On Periodically Updated Corpus aborda este problema. Sus autores, de MWS AI, Sber y varias universidades, presentaron el trabajo en EACL 2026. DRAGOn es un benchmark, es decir, un conjunto de preguntas de prueba que se construye automáticamente a partir de noticias recientes.
Tras todos los filtros, quedan 150 preguntas por cada categoría. La idea es evaluar la búsqueda, no la memoria del modelo.
¿Por qué los benchmarks habituales engañan sobre RAG?
La mayoría de las pruebas para RAG tienen debilidades comunes. El corpus de documentos es fijo y, con el tiempo, deja de reflejar el mundo real. Las preguntas y respuestas suelen etiquetarse a mano, lo que requiere mucho tiempo y dinero. Además, resulta difícil saber qué componente del sistema influyó en el resultado.
Pero el problema más incómodo es otro: no está claro a qué se debe un buen resultado. Quizá la búsqueda encontró de verdad el párrafo correcto. O quizá el modelo base memorizó esos hechos durante el entrenamiento y respondió de memoria. Imagine que evalúa un servicio de soporte que debe consultar su base de conocimiento, pero responde de cabeza. La prueba mostrará un resultado «excelente», aunque la búsqueda quizá ni siquiera funcione.
Los autores resumen el problema en una frase: el conjunto de prueba no es independiente de los datos de entrenamiento. Su solución es directa: construir el benchmark con conocimiento que el modelo, con seguridad, no ha visto. Para ello hacen falta tres elementos: un corpus de documentos que se actualice con regularidad, la generación automática de pares «pregunta–respuesta» y un sistema de evaluación público y unificado.
Cómo DRAGOn crea preguntas a partir de noticias
El proceso sigue una secuencia de pasos que cualquiera puede reproducir.
Primero, los parsers descargan textos de fuentes externas. En el artículo se trata de agregadores de noticias, pero el enfoque no depende de las noticias. Después, Llama 3.3 70B Instruct extrae de los textos hechos en forma de tripletas «sujeto — relación — objeto», por ejemplo «la empresa X — adquirió — la startup Y».
A continuación viene la operación más importante para la pureza de la prueba. Cada hecho se verifica mediante la API de Wikidata. Si ya figura allí, se descarta, porque el modelo bien pudo conocerlo. Luego, el mismo Llama normaliza los nombres de entidades y relaciones, y solo los hechos nuevos entran en el grafo.
Del grafo se construyen preguntas de cuatro tipos:
- de un solo hecho: «¿Quién dirige SpaceX?»;
- con lista de respuestas: «¿Para qué películas compuso música Hans Zimmer?»;
- con una cadena de hechos, donde la entidad intermedia se oculta en la pregunta: «¿En qué país se encuentra la empresa que vendió 2139 automóviles en 2023?»;
- con intersección de condiciones, donde la respuesta es una entidad común: «¿Quién actuó en M-bar y se reunió con Dmitri Dibrov?».
Después viene una limpieza en varias etapas. Un modelo elimina los errores gramaticales y las formulaciones poco naturales. Una biblioteca NER verifica las entidades nombradas. Modelos pequeños intentan responder sin contexto, y si lo consiguen, la pregunta se elimina: es demasiado fácil y no requiere búsqueda. La evaluación principal la realiza POLLUX 7B como juez LLM, asignando de 0 a 2 puntos por corrección, naturalidad, exactitud y dependencia del contexto. El conjunto final incluye 150 preguntas por cada categoría.
Los autores compararon el juez con anotadores humanos. POLLUX 7B mostró una precisión alta, pero una exhaustividad moderada: selecciona con fiabilidad las buenas preguntas, aunque a veces descarta algunas correctas. Para un benchmark, esto es aceptable, porque es preferible contar con menos preguntas, pero de calidad verificada.
Qué mostraron las pruebas y cuáles son sus límites
La búsqueda y la generación se evaluaron por separado. Para la búsqueda se midió con qué frecuencia el documento correcto aparece entre los N primeros resultados y en qué posición (métrica MRR). Las mejores cifras las obtuvieron las combinaciones con Qwen3 Embedding 8B y E5 Mistral 7B Instruct. Para la generación se usaron ROUGE-2 y ROUGE-L, que miden la coincidencia de palabras y frases con la respuesta de referencia. El peso principal recayó en la evaluación de POLLUX 7B: si la respuesta es correcta, completa y se apoya en el contexto encontrado.
La conclusión es sencilla: con el contexto que le das, obtienes la respuesta que te da. Los sistemas con búsqueda sólida también dieron las mejores respuestas. En la práctica, esto significa que, al depurar un RAG, primero conviene revisar el retriever y los embeddings, y no cambiar el modelo generador.
Los autores también pusieron en marcha una tabla de clasificación pública. Los resultados se envían mediante una biblioteca específica. Parte de los datos permanece oculta para garantizar una comparación justa.
El trabajo tiene limitaciones. Por ahora, el benchmark solo cubre noticias en ruso, y el flujo de noticias es distinto de los textos médicos, jurídicos o científicos. La arquitectura permite trasladar el enfoque a otros dominios, pero no existen versiones listas para ellos. Además, el juez LLM acelera el trabajo, pero no sustituye a un experto: sigue siendo demasiado cauteloso.
Conclusión práctica para los equipos que desarrollan RAG en ruso. Si tiene un flujo propio de documentos actualizados (soporte, base de conocimiento, noticias del sector), puede repetir este esquema: extraer hechos, descartar los ya conocidos por el modelo y crear preguntas solo sobre lo nuevo. Así, la prueba mide el trabajo de la búsqueda y no la memoria del modelo.
- 21 nov 2026Meta prepara Muse Charm, un tamagotchi con IA de 300 dólares y un año de 5G de Verizon
- 21 nov 2026MLCommons empieza a medir las API de IA bajo carga real: 7 mediciones para agentes
- 21 nov 2026Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño
- 21 nov 2026Apple construye un agente de IA para Mac y complica el acceso a terceros: 14 clics en lugar de 4
Preguntas frecuentes sobre la noticia
¿Por qué los benchmarks habituales engañan sobre RAG?
La mayoría de las pruebas para RAG tienen debilidades comunes. El corpus de documentos es fijo y, con el tiempo, deja de reflejar el mundo real. Las preguntas y respuestas suelen etiquetarse a mano, lo que requiere mucho tiempo y dinero. Además, resulta difícil saber qué componente del sistema influyó en el resultado. Pero el problema más incómodo es otro: no está claro a qué se debe un buen resultado. Quizá la búsqueda encontró de verdad el párrafo correcto.
Cómo DRAGOn crea preguntas a partir de noticias?
El proceso sigue una secuencia de pasos que cualquiera puede reproducir. Primero, los parsers descargan textos de fuentes externas. En el artículo se trata de agregadores de noticias, pero el enfoque no depende de las noticias. Después, Llama 3.3 70B Instruct extrae de los textos hechos en forma de tripletas «sujeto — relación — objeto», por ejemplo «la empresa X — adquirió — la startup Y». A continuación viene la operación más importante para la pureza de la prueba.
¿Qué se sabe sobre Qué mostraron las pruebas y cuáles son sus límites?
La búsqueda y la generación se evaluaron por separado. Para la búsqueda se midió con qué frecuencia el documento correcto aparece entre los N primeros resultados y en qué posición (métrica MRR). Las mejores cifras las obtuvieron las combinaciones con Qwen3 Embedding 8B y E5 Mistral 7B Instruct. Para la generación se usaron ROUGE-2 y ROUGE-L, que miden la coincidencia de palabras y frases con la respuesta de referencia.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.