Mycelium: исследователи разложили бенчмарки галлюцинаций по трём осям

Детекторы галлюцинаций LLM принято сравнивать по одной цифре на одном бенчмарке. Julia Belikova и Elisei Rykov в мета-исследовании Mycelium (arXiv 2610.33608, опубликовано 24 октября 2026 года) показали, почему такая цифра говорит меньше, чем кажется. Бенчмарки определяют галлюцинацию по-разному, получают тексты моделей разными способами и размечают ошибки на разных уровнях. Авторы предлагают рассматривать детекцию как задачу измерения, зависящую от условий бенчмарка, и вводят новую метрику Span Coverage F1.

Один термин, много разных задач

Галлюцинации важны для оценки и внедрения больших языковых моделей: от того, насколько надёжно их ловят, зависят RAG-системы, ассистенты и корпоративные пайплайны. Новые детекторы обычно приходят с таблицей результатов на нескольких наборах данных. Но если в одном наборе размечены фактические ошибки без контекста, а в другом проверяется верность ответа переданному источнику, то это две разные задачи с общим названием. Высокий скор на первой почти ничего не обещает для второй.

Mycelium разбирает, как выбор при создании бенчмарка, разметке и оценке формирует итоговую задачу предсказания. Затем авторы сопоставляют механизмы и допущения самих детекторов с условиями, в которых эти детекторы измеряли.

Три оси классификации бенчмарков

Все существующие бенчмарки авторы раскладывают по трём измерениям:

• Provenance (происхождение): как получены выходы модели и условия с доказательствами, то есть откуда взялись тексты и на какие свидетельства опирается проверка.
• Typology (типология): какие сбои фактичности (factuality) и верности источнику (faithfulness) отражены в метках бенчмарка.
• Granularity (гранулярность): на каком уровне галлюцинации размечаются, предсказываются и оцениваются. Это может быть ответ целиком, предложение или отдельный фрагмент текста.

Разные точки на этих осях меняют саму постановку задачи. Поэтому, по выводу авторов, у сравнений между бенчмарками есть ограничения, а обобщение детектора на другие условия нужно оценивать явно, а не предполагать.

Span Coverage F1: когда границы разметки решают всё

Отдельный раздел посвящён оценке на уровне спанов, то есть фрагментов текста, помеченных как галлюцинация. Здесь итог сильно зависит от того, где именно аннотатор провёл границы. Один бенчмарк помечает короткую именную группу, другой всё предложение. Детектор, который нашёл ту же ошибку, получит разные баллы в зависимости от того, как совпали границы.

Как дополнение к существующим метрикам авторы предлагают Span Coverage F1. Она основана на вложенности (containment): учитывается, покрывает ли предсказанный фрагмент размеченный, а не только степень точного перекрытия. Метрика задумана как комплементарная и не заменяет привычные показатели, а помогает отделить реальное качество детекции от артефактов разметки.

Как читать скоры детекторов

Практический вывод для команд, выбирающих или обучающих детекторы:

• Прежде чем сравнивать два скора, проверьте, совпадают ли у бенчмарков происхождение данных, типы ошибок и уровень разметки. Если нет, цифры измеряют разные вещи.
• Для продакшена выбирайте бенчмарк, ближайший к вашему сценарию. Для RAG важна верность источнику, для открытых вопросов фактичность без контекста.
• Если детектор работает на уровне спанов, смотрите, как определены границы в разметке, и добавляйте метрику на основе вложенности вроде Span Coverage F1.
• Проверяйте обобщение: прогоняйте детектор на бенчмарках с другими условиями и сообщайте разброс, а не единственное число.

Код и материалы исследования лежат в репозитории lmeribal/mycelium на GitHub. Авторы просят обратную связь и обсуждение: работа задумана как основа для более честных сравнений в области, где число в таблице часто весит больше, чем контекст, в котором его получили.