Бенчмарк Learn2Discern: LLM почти не отличают надёжные источники от популярных

В июле 2026 года исследователи опубликовали на arXiv работу о «различении информации» (information discernment) у больших языковых моделей и представили бенчмарк Learn2Discern (L2D). На 13 моделях и почти 670 000 тестов выяснилось: модели отличают надёжные источники от ненадёжных примерно на уровне случайного угадывания.

Что проверяет Learn2Discern

Learn2Discern оценивает два навыка модели при работе с внешними данными: source discernment — сильнее ли модель доверяет надёжному источнику, и truth discernment — сильнее ли она обновляет ответ, когда новое утверждение приближает её к истине. Фреймворк построен на трёх нормативных аксиомах с интерпретируемыми метриками. По данным авторов, реальные пользователи эти принципы разделяют: пре-регистрированный опрос с квотной выборкой (n=299) показал, что их нарушение снижает доверие к модели и готовность ею пользоваться.

Главные результаты

По обоим измерениям модели проваливаются: и по надёжности источника, и по близости к истине результаты держатся у случайного уровня.

• 13 моделей, почти 670 000 тестов (trials)
• На популярность источника модели опираются вдвое сильнее, чем на его надёжность
• Ответ обновляют примерно одинаково — неважно, приближает утверждение к истине или отдаляет
• Лучше всего интегрируют внешние знания там, где их собственные приоры и так самые точные
• Опрос пользователей: n=299, квотная выборка, пре-регистрация

«Модели работают почти на уровне случайного угадывания как по

надёжности источника, так и по близости к истине», — говорится в аннотации исследования на arXiv.

Почему новые модели не спасают

Более крупные и свежие модели улучшают только truth discernment, но не source discernment. Это слепое пятно, которое не лечится ростом сложности модели: способность отличать достоверный источник от популярного не растёт вместе с размером. Хуже того, по данным Learn2Discern, модели встраивают внешние знания эффективнее всего там, где их приоры и так наиболее точны, — то есть помогают себе там, где помощь нужна меньше всего. При этом авторы нашли и хорошую новость: простые интервенции на этапе инференса (inference-time) улучшают оба навыка сразу, без дообучения модели.

Что это значит

По мере того как LLM заменяют традиционный поиск, умение отличать достоверный источник от просто популярного становится критическим свойством выравнивания (alignment). Пока, судя по 13 протестированным моделям, этому навыку они не обучены — и размер модели проблему не решает. Датасет и опрос авторы выложили в открытый доступ как тестовую площадку для этой задачи.

Частые вопросы

Что такое Learn2Discern?

Learn2Discern (L2D) — экспериментальный фреймворк и бенчмарк для оценки того, как LLM взвешивают внешнюю информацию: доверяют ли надёжным источникам и приближаются ли к истине. Построен на трёх нормативных аксиомах с интерпретируемыми метриками; датасет и опрос авторы открыли для повторного использования.

Какие модели тестировали?

В исследовании участвовали 13 моделей на почти 670 000 тестов. Все они показали различение источников и истины около случайного уровня, а новые и более крупные модели улучшали только truth discernment, но не source discernment.

Почему это важно для ИИ-поиска?

Когда LLM заменяют поисковики, они сами решают, какому источнику верить. Если модель ориентируется на популярность источника вдвое сильнее, чем на его надёжность, она рискует тиражировать распространённые, но неверные утверждения.