Benchmark Learn2Discern: los LLM apenas distinguen las fuentes fiables de las populares

En julio de 2026, unos investigadores publicaron en arXiv un trabajo sobre el «discernimiento de la información» (information discernment) en los grandes modelos de lenguaje y presentaron el benchmark Learn2Discern (L2D). En las pruebas con 13 modelos y casi 670 000 tests, resultó que los modelos distinguen las fuentes fiables de las poco fiables aproximadamente al nivel del azar.

Qué evalúa Learn2Discern

Learn2Discern mide dos habilidades del modelo al trabajar con datos externos: source discernment (si el modelo confía más en una fuente fiable) y truth discernment (si actualiza su respuesta con más intensidad cuando la nueva afirmación lo acerca a la verdad). El marco se apoya en tres axiomas normativos con métricas interpretables. Según los autores, los usuarios reales comparten estos principios: una encuesta preregistrada con muestreo por cuotas (n=299) mostró que su incumplimiento reduce la confianza en el modelo y la disposición a usarlo.

Principales resultados

En ambas dimensiones los modelos suspenden: tanto en la fiabilidad de la fuente como en la cercanía a la verdad, los resultados se mantienen en torno al nivel del azar.

• 13 modelos, casi 670 000 pruebas (trials)
• Los modelos se apoyan en la popularidad de la fuente el doble que en su fiabilidad
• Actualizan su respuesta casi por igual, tanto si la afirmación los acerca a la verdad como si los aleja
• Integran mejor el conocimiento externo justo donde sus propios priors ya son más precisos
• Encuesta a usuarios: n=299, muestreo por cuotas, preregistro

«Los modelos rinden casi al nivel del azar tanto en la fiabilidad de

la fuente como en la cercanía a la verdad», se afirma en el resumen del estudio en arXiv.

Por qué los modelos nuevos no lo solucionan

Los modelos más grandes y recientes mejoran únicamente el truth discernment, pero no el source discernment. Es un punto ciego que no se corrige aumentando la complejidad del modelo: la capacidad de distinguir una fuente veraz de una simplemente popular no crece con el tamaño. Peor aún, según Learn2Discern, los modelos incorporan el conocimiento externo con mayor eficacia donde sus priors ya son más precisos; es decir, se ayudan a sí mismos allí donde menos ayuda necesitan. Con todo, los autores encontraron también una buena noticia: intervenciones sencillas en la fase de inferencia (inference-time) mejoran ambas habilidades a la vez, sin reentrenar el modelo.

Qué significa esto

A medida que los LLM sustituyen a la búsqueda tradicional, saber distinguir una fuente fiable de una simplemente popular se convierte en una propiedad crítica del alineamiento (alignment). Por ahora, a juzgar por los 13 modelos evaluados, no han aprendido esta habilidad, y el tamaño del modelo no resuelve el problema. Los autores han publicado en abierto el dataset y la encuesta como banco de pruebas para esta tarea.

Preguntas frecuentes

¿Qué es Learn2Discern?

Learn2Discern (L2D) es un marco experimental y un benchmark para evaluar cómo los LLM ponderan la información externa: si confían en las fuentes fiables y si se acercan a la verdad. Se basa en tres axiomas normativos con métricas interpretables; los autores han abierto el dataset y la encuesta para su reutilización.

¿Qué modelos se evaluaron?

El estudio incluyó 13 modelos en casi 670 000 pruebas. Todos mostraron un discernimiento de fuentes y de verdad en torno al nivel del azar, y los modelos más nuevos y más grandes mejoraron únicamente el truth discernment, pero no el source discernment.

¿Por qué importa esto para la búsqueda con IA?

Cuando los LLM sustituyen a los buscadores, son ellos quienes deciden a qué fuente creer. Si un modelo se guía por la popularidad de la fuente el doble que por su fiabilidad, corre el riesgo de reproducir afirmaciones extendidas pero erróneas.