PubHealthBench: 7929 preguntas para comprobar cómo el RAG protege a la IA de las alucinaciones en medicina

Un equipo de investigadores ha ampliado el benchmark PubHealthBench, un conjunto de 7929 preguntas sobre las recomendaciones oficiales del Gobierno del Reino Unido en materia de salud pública, para cubrir escenarios de retrieval-augmented generation (RAG). El trabajo analiza de forma sistemática cómo influyen las distintas configuraciones de búsqueda y generación en la precisión de las respuestas de la IA. El artículo se publicó en arXiv el 7 de julio de 2026.

Por qué los LLM necesitan RAG en medicina

Los grandes modelos de lenguaje obtienen resultados prometedores en los benchmarks médicos de preguntas y respuestas. Sin embargo, su uso en salud pública está limitado por las alucinaciones y por la rapidez con que cambian las recomendaciones oficiales. El RAG reduce estos riesgos porque ancla las respuestas del modelo a un corpus de documentos que se mantiene de forma explícita. Aun así, la calidad final depende mucho de cómo se configure la búsqueda y de cómo se evalúe el resultado, que no debe limitarse al formato de elegir una opción entre varias.

Qué reveló la comparación de métodos de búsqueda

Los autores compararon la búsqueda densa (dense), dispersa (sparse) e híbrida con varios modelos de embeddings y distintas versiones del corpus.

• La búsqueda híbrida mejora de forma constante la exhaustividad y la calidad del ranking de resultados
• La longitud de los fragmentos de texto (chunk length) y el tema de la consulta influyen en la calidad del ranking
• Añadir el contexto recuperado eleva notablemente la precisión en las preguntas de opción múltiple en LLM muy diversos
• Los modelos abiertos pequeños con RAG igualan o superan a modelos más grandes sin RAG
• La mejora de precisión depende ante todo de la calidad de la búsqueda y de una selección cuidadosa del contexto

Cómo se evaluaron las respuestas extensas

Para evaluar respuestas extensas y realistas, y no solo la elección de una opción, los autores propusieron un juez basado en LLM que aplica una rúbrica de fidelidad (faithfulness), exhaustividad, claridad y coherencia factual. Sus resultados se contrastaron con una doble anotación humana. La concordancia entre el modelo juez y las personas fue mayor en los criterios de fidelidad y exhaustividad. En cambio, la coherencia factual y la claridad se reproducen con menos fiabilidad, por lo que conviene interpretar con más cautela las puntuaciones de estos dos criterios cuando se aplican a gran escala.

Qué significa esto

Los resultados indican que la calidad de la búsqueda es la palanca principal para obtener respuestas fiables de la IA sobre salud pública. Incluso los modelos abiertos pequeños pueden competir con los grandes si el componente de búsqueda del sistema está bien configurado.

Preguntas frecuentes

¿Qué es PubHealthBench?

Es un benchmark de preguntas y respuestas con 7929 preguntas elaboradas a partir de las recomendaciones oficiales del Gobierno del Reino Unido sobre salud pública. En este trabajo se amplió para cubrir escenarios con RAG.

¿Puede un modelo pequeño sustituir a uno grande gracias al RAG?

Sí. Según los autores, aportar el contexto recuperado permite a los modelos abiertos pequeños igualar o superar a modelos más grandes que funcionan sin RAG.