La etiqueta «sin documentos gold» pasó de una precisión de 0,68 a 0,10 con retrievers potentes

Los benchmarks de RAG conversacional, como MTRAG y RETECO, evalúan el sistema completo: el modelo responde a partir de los documentos que ha recuperado y debe negarse a contestar si la respuesta no está en ellos. Para dar por válida una negativa, hay que saber si el contexto recuperado es suficiente. Etiquetar a mano los contextos de todos los sistemas es inviable, así que en la práctica se recurre a una simplificación: si entre los documentos recuperados no hay ninguno de referencia (gold) según el etiquetado de relevancia, el contexto se considera insuficiente para responder.

El autor de un trabajo de reproducción, de la escuela Letovo de Moscú, puso a prueba esta regla en RECOR (la segunda pista de RETECO) y demostró que deja de funcionar a medida que mejora el retriever, es decir, el módulo de búsqueda primaria de documentos. Su precisión cayó de 0,68 a 0,10, mientras que nDCG@10 (métrica de calidad del ranking en el top 10 de resultados) subía de 0,18 a 0,59.

Cómo se comprobó la regla

RECOR se compone de diálogos: cada uno convierte una pregunta de StackExchange o de BRIGHT en 3–5 turnos cortos que dependen del contexto. Cada turno tiene documentos de referencia y una respuesta de control generada por GPT-4.1 a partir de hechos atómicos verificados. Los corpus de los dominios contienen entre 16 mil y 121 mil documentos, incluidos ejemplos negativos recopilados para cada pregunta. El autor tomó 858 turnos de la parte dev, procedentes de 211 diálogos.

Primero reprodujo con exactitud los baselines oficiales de BM25: los resultados coincidieron con los publicados hasta la cuarta cifra decimal en los 11 dominios (nDCG@10 macropromedio en dev: 0,183 y 0,438). Después construyó una «escalera» de cuatro retrievers: BM25 sobre el turno actual, BM25 con el historial del diálogo, Fusion (fusión de ejecuciones de BM25 con tres expansiones de la consulta generadas por LLM) y un híbrido con el retriever denso reason-embed-qwen3-4b. Su nDCG@10 en dev es de 0,183, 0,438, 0,550 y 0,591, y la proporción de turnos con al menos un documento de referencia en el top 5 es de 0,28, 0,65, 0,77 y 0,82.

El contenido de cada contexto lo evaluaron dos LLM abiertos como jueces y un panel de cuatro modelos pequeños: Qwen3-4B-Instruct-2507, Phi-4-mini-instruct, SmolLM3-3B y Granite-3.3-8B-instruct. Además, Claude Opus 5.5 etiquetó a ciegas 250 contextos, sin ver ni el retriever ni la etiqueta de qrels. Sus dos ejecuciones coincidieron en el 97% de los casos, y una tercera resolvió los ejemplos dudosos. Las respuestas las generaron los modelos Qwen3-1.7B, Qwen3-4B-Instruct-2507 y Qwen3-8B.

Cuanto más potente es el retriever, más se equivoca la regla

Entre los contextos sin gold, la proporción de los que sí contienen la respuesta subió del 28% al 72%. La precisión de la regla como detector de contexto insuficiente cayó de 0,68 a 0,10 y, según la auditoría ciega, de 0,70 a 0,21. La causa es un etiquetado incompleto.

Lo más habitual es que la respuesta aparezca en un negativo difícil recopilado para la misma pregunta, en el documento de referencia de otro turno o en un fragmento contiguo de la página de referencia. En el ejemplo sobre glucómetros, el documento recuperado explica que la enzima glucosa oxidasa es específica únicamente de la D-glucosa. Sin embargo, en qrels figura como negativo, y la búsqueda no devolvió el documento gold auténtico que contiene ese mismo pasaje.

Varias comprobaciones independientes respaldan estas conclusiones: el recuento de copias de documentos gold sin intervención de jueces, la auditoría ciega, un control negativo, las valoraciones de personas en MTRAG y las respuestas del propio modelo. Qwen3-4B responde correctamente al 62–67% de esos falsos fallos, al 23–30% de los contextos que los jueces consideraron insuficientes y al 1% de los turnos sin documentos. Los cuatro jueces pequeños reproducen la caída, pero puntúan con más indulgencia que los grandes.

Qué cambia para la evaluación de las negativas

La elección de la etiqueta puede dar la vuelta a las conclusiones. Al evaluar por presencia de gold, el AUROC de la detección de capacidad de respuesta queda infravalorado hasta 0,19, y el mejor detector de suficiencia parece ser la puntuación del retriever, que ni siquiera lee los documentos. En MTRAG, donde el etiquetado lo hicieron anotadores y no hay negativos recopilados, la precisión de la regla baja de 0,72 a 0,50. Por tanto, el efecto no se limita a RECOR.

Hay también salvedades. Las expansiones de consulta para Fusion y el híbrido las generó un modelo cerrado, Claude Sonnet 5. Al rehacerlas con un modelo abierto, los pasajes de Query2doc con BM25 dan 0,453 en lugar de 0,546. Que las dos ejecuciones del auditor coincidan en el 97% refleja la autoconsistencia de un solo modelo, no el acuerdo entre anotadores independientes.

La recomendación práctica del autor: al comparar retrievers de distinta potencia, hay que validar la negativa según una etiqueta de contenido de cada contexto, y no según la presencia de gold. De lo contrario, un retriever potente parece peor, y un modelo que se niega a responder aunque la respuesta esté en los documentos recibe el visto bueno. El código, las ejecuciones y las etiquetas están publicados en el repositorio reteco-2026.