Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoPaper científico · Para I+DHabr AI→ original

MWS AI y SberAI proponen DRAGOn, un benchmark dinámico para evaluar sistemas RAG

MWS AI, SberAI y socios académicos han presentado DRAGOn, un benchmark para sistemas RAG con un corpus que se actualiza con regularidad. En lugar de un conjunto estático de preguntas, extrae automáticamente hechos nuevos de noticias, genera pares de pregunta-respuesta y descarta las consultas demasiado simples, que un modelo puede responder de memoria. Los autores también han lanzado un ranking público para comparar recuperadores y generadores.

Procesado por IA desde Habr AI; editado por Hamidun News
MWS AI y SberAI proponen DRAGOn, un benchmark dinámico para evaluar sistemas RAG
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Simplepregunta sobre un único hecho
Setenumeración de varios objetos con una relación común
Multi-hoppregunta que pasa por una entidad intermedia

Investigadores de MWS AI, SberAI y varias universidades han presentado DRAGOn, un benchmark dinámico para evaluar sistemas RAG que trabajan con un corpus actualizado con regularidad. El trabajo se publicó en arXiv en julio de 2025 y, en marzo de 2026, pasó a formar parte de las actas de EACL 2026 como una forma práctica de probar RAG con datos realmente nuevos, y no con un conjunto de preguntas fijado hace tiempo.

Por qué es difícil

La evaluación de RAG choca casi siempre con el mismo problema: las pruebas envejecen más rápido que los propios sistemas. Si un benchmark se construye sobre un corpus fijo, un modelo puede obtener buenos resultados no porque busque y relacione bien los documentos, sino porque ya vio parte de los hechos durante el entrenamiento. A esto se suma otra dificultad: en la calidad final es difícil separar la aportación del recuperador de la del generador. Y preparar a mano pares de pregunta y respuesta para una actualización constante resulta demasiado caro, lento y casi imposible de escalar para equipos que quieren comparar con regularidad nuevas versiones de sus pipelines.

Cómo funciona DRAGOn

Los autores proponen construir el benchmark como un flujo de procesamiento. Unos parsers descargan con regularidad material de fuentes de noticias y un módulo independiente extrae de los textos hechos atómicos en forma de tripletas «sujeto — relación — objeto». Después, el sistema contrasta las entidades con Wikidata y descarta los hechos ya conocidos, de modo que en la muestra queden solo conocimientos nuevos. A partir del grafo resultante se generan automáticamente preguntas de distinta dificultad, y el benchmark puede relanzarse con regularidad sin reconstrucción manual y con un control de versiones claro.

  • Simple: pregunta sobre un único hecho
  • Set: enumeración de varios objetos con una relación común
  • Multi-hop: pregunta que pasa por una entidad intermedia
  • Conditional: respuesta que debe cumplir dos condiciones a la vez

Sobre esto, los autores añadieron un ranking público y dividieron la evaluación en una parte pública y otra privada. La pública sirve para comparar resultados abiertamente; la privada, para contrastarlos con precisión con la referencia y evitar el ajuste a respuestas conocidas. Este formato hace más justa la comparación entre configuraciones de RAG: un equipo puede probar un nuevo recuperador, otro un nuevo generador, y ambos obtienen resultados comparables sobre un corpus reciente, y no sobre un conjunto que el modelo pudo haber aprendido ya.

Cómo es la verificación

Para que los pares de pregunta-respuesta generados automáticamente no se conviertan en ruido, DRAGOn los pasa por varios filtros. Primero se comprueba la corrección lingüística básica con RuRoBERTa-large y después las preguntas pasan una verificación NER con Natasha. A continuación se eliminan los ejemplos demasiado fáciles: si modelos pequeños como Qwen 2.5 7B o LLaMa 3 8B responden sin apoyarse en el contexto, la pregunta no sirve para una evaluación justa de RAG y se excluye de la versión final.

El control de calidad final lo realiza POLLUX 7B en modo LLM-as-a-Judge. El modelo valora la gramática, la naturalidad, la corrección y la dependencia de la pregunta respecto al contexto, y esas valoraciones se contrastan después con el etiquetado humano. En un experimento con 532 ejemplos, el juez automático mostró una precisión alta, aunque resultó bastante estricto.

Tras el filtrado, los autores conservan 150 preguntas de calidad por categoría y evalúan los sistemas por separado en búsqueda y en generación. En las pruebas, las combinaciones con Qwen 3 Embedding 8B y E5 Mistral 7B Instruct fueron las que mejor resultado dieron. La conclusión es sencilla: si el recuperador encuentra el contexto correcto, al generador le resulta bastante más fácil dar una respuesta precisa.

Qué significa

DRAGOn es un intento de convertir la evaluación de RAG de una demostración puntual en un proceso que se actualiza de forma continua. Para los equipos que construyen búsqueda sobre documentos, noticias o bases de conocimiento internas, el enfoque es útil porque reduce el riesgo de falsa confianza: un sistema puede responder con soltura sobre datos conocidos y fallar con hechos realmente nuevos. Un benchmark dinámico ayuda a detectar esa diferencia antes y ofrece una imagen más honesta de lo preparado que está un RAG para funcionar en un entorno real.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué es difícil?

La evaluación de RAG choca casi siempre con el mismo problema: las pruebas envejecen más rápido que los propios sistemas. Si un benchmark se construye sobre un corpus fijo, un modelo puede obtener buenos resultados no porque busque y relacione bien los documentos, sino porque ya vio parte de los hechos durante el entrenamiento. A esto se suma otra dificultad: en la calidad final es difícil separar la aportación del recuperador de la del generador.

Cómo funciona DRAGOn?

Los autores proponen construir el benchmark como un flujo de procesamiento. Unos parsers descargan con regularidad material de fuentes de noticias y un módulo independiente extrae de los textos hechos atómicos en forma de tripletas «sujeto — relación — objeto». Después, el sistema contrasta las entidades con Wikidata y descarta los hechos ya conocidos, de modo que en la muestra queden solo conocimientos nuevos.

Cómo es la verificación?

Para que los pares de pregunta-respuesta generados automáticamente no se conviertan en ruido, DRAGOn los pasa por varios filtros. Primero se comprueba la corrección lingüística básica con RuRoBERTa-large y después las preguntas pasan una verificación NER con Natasha. A continuación se eliminan los ejemplos demasiado fáciles: si modelos pequeños como Qwen 2.5 7B o LLaMa 3 8B responden sin apoyarse en el contexto, la pregunta no sirve para una evaluación justa de RAG y se excluye de la versión final.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…