Бенчмарк Learn2Discern: LLM почти не отличают надёжные источники от популярных

En julio de 2026, investigadores publicaron en arXiv un estudio sobre la "discriminación de información" (information discernment) en grandes modelos de lenguaje y presentaron el benchmark Learn2Discern (L2D). En 13 modelos y casi 670.000 pruebas, se descubrió que los modelos distinguen las fuentes fiables de las no fiables aproximadamente al nivel de una adivinanza aleatoria.

Qué evalúa Learn2Discern

Learn2Discern evalúa dos habilidades del modelo al trabajar con datos externos: source discernment (discernimiento de fuente) — si el modelo confía más en una fuente fiable, y truth discernment (discernimiento de verdad) — si actualiza su respuesta con más fuerza cuando una nueva afirmación lo acerca a la verdad. El marco se basa en tres axiomas normativos con métricas interpretables. Según los autores, los usuarios reales comparten estos principios: una encuesta preregistrada con muestra por cuotas (n=299) mostró que su incumplimiento reduce la confianza en el modelo y la disposición a usarlo.

Principales resultados

En ambas dimensiones los modelos fallan: tanto en la fiabilidad de la fuente como en la cercanía a la verdad, los resultados se mantienen en un nivel aleatorio.

• 13 modelos, casi 670.000 pruebas (trials)
• Los modelos se apoyan en la popularidad de la fuente el doble de lo que se apoyan en su fiabilidad
• La respuesta se actualiza de forma casi idéntica, sin importar si la afirmación acerca o aleja de la verdad
• Integran mejor el conocimiento externo precisamente donde sus propios priors ya son los más precisos
• Encuesta a usuarios: n=299, muestra por cuotas, preregistrada

"Los modelos funcionan casi al nivel de una adivinanza aleatoria tanto

en fiabilidad de la fuente como en cercanía a la verdad", señala el resumen del estudio en arXiv.

Por qué los modelos nuevos no lo resuelven

Los modelos más grandes y recientes mejoran solo el truth discernment, no el source discernment. Es un punto ciego que no se corrige aumentando la complejidad del modelo: la capacidad de distinguir una fuente fiable de una popular no crece con el tamaño. Peor aún, según Learn2Discern, los modelos integran el conocimiento externo de forma más eficaz precisamente donde sus propios priors ya son más precisos, es decir, se ayudan a sí mismos donde menos ayuda necesitan. Sin embargo, los autores encontraron una buena noticia: intervenciones simples en el momento de la inferencia (inference-time) mejoran ambas habilidades a la vez, sin necesidad de reentrenar el modelo.

Qué significa esto

A medida que los LLM sustituyen a la búsqueda tradicional, la capacidad de distinguir una fuente fiable de una simplemente popular se convierte en una propiedad crítica de alineación (alignment). Por ahora, a juzgar por los 13 modelos probados, no han aprendido esta habilidad, y el tamaño del modelo no resuelve el problema. Los autores han publicado el dataset y la encuesta en acceso abierto como banco de pruebas para esta tarea.

Preguntas frecuentes

¿Qué es Learn2Discern?

Learn2Discern (L2D) es un marco experimental y un benchmark para evaluar cómo los LLM ponderan la información externa: si confían en fuentes fiables y si se acercan a la verdad. Se basa en tres axiomas normativos con métricas interpretables; los autores han abierto el dataset y la encuesta para su reutilización.

¿Qué modelos se probaron?

En el estudio participaron 13 modelos en casi 670.000 pruebas. Todos mostraron un discernimiento de fuente y de verdad cercano al nivel aleatorio, y los modelos nuevos y más grandes solo mejoraron el truth discernment, no el source discernment.

¿Por qué es importante para la búsqueda con IA?

Cuando los LLM sustituyen a los buscadores, son ellos mismos quienes deciden en qué fuente confiar. Si un modelo se guía por la popularidad de una fuente el doble de lo que se guía por su fiabilidad, corre el riesgo de reproducir afirmaciones muy difundidas pero incorrectas.