GRAPHEVAL: новый граф-фреймворк обнаружил, что Self-Consistency скрывает ошибки в рассуждениях LLM

Исследователи опубликовали в июле 2026 года на arXiv статью с фреймворком GRAPHEVAL для оценки достоверности рассуждений языковых моделей. Главный вывод: стандартный метод Self-Consistency систематически не замечает логических ошибок, потому что сравнивает только финальные ответы, полностью игнорируя промежуточные шаги рассуждения.

Почему Self-Consistency не улавливает ошибки в рассуждениях

Self-Consistency (SC) — один из самых популярных способов повысить надёжность языковых моделей. Принцип прост: модель генерирует несколько вариантов решения одной задачи, затем мажоритарным голосованием выбирается наиболее частый финальный ответ. Это хорошо отсеивает случайные промахи, но оставляет слепое пятно.

Несколько цепочек рассуждений вполне могут прийти к одному ответу совершенно разными — в том числе ошибочными — логическими путями. Модель выглядит уверенной, консенсус достигнут, но структура рассуждений остаётся несвязной. Авторы называют это явление «уверенными галлюцинациями»: модель не выражает неопределённости, однако её промежуточные шаги не выдерживают проверки на логическую связность.

Что предлагает GRAPHEVAL

Фреймворк переосмысливает задачу оценки неопределённости (uncertainty quantification) как измерение целостной логической достоверности всего пространства рассуждений, а не только финальных ответов. Авторы вводят два новых инструмента:

• GRCS (Graph Reasoning Coherence Score) — метрика, фиксирующая семантически-структурный консенсус в граф-представлении рассуждений; одновременно улавливает патологический mode collapse и уверенные галлюцинации.
• GSC (Graph Self-Consistency) — стратегия декодирования на основе медоида: вместо голосования по финальному ответу выбирается цепочка рассуждений, наиболее близкая ко всем остальным в структурном смысле.

GRCS оказалась единственной метрикой, последовательно отрицательно коррелирующей с неверностью рассуждений — как у крупных, так и у небольших моделей.

Что показали эксперименты

Авторы проверили фреймворк на моделях разного масштаба и зафиксировали несколько ключевых закономерностей:

• У небольших моделей GSC наглядно вскрывает, насколько SC завышает точность за счёт «удачных угадываний»: модели нередко приходят к правильному ответу по ошибочному пути, а SC этого не замечает.
• У более мощных моделей GSC сохраняет или улучшает точность, одновременно повышая логическую достоверность рассуждений.
• Adversarial medoid ablation подтвердил: путь, выбранный GSC, является «несущим» — принудительное отклонение от него снижает достоверность рассуждений и в ряде случаев ухудшает точность ответов.

Что это значит

Стандартные метрики точности и Self-Consistency маскируют фундаментальную проблему: языковые модели способны угадывать правильный ответ, не умея корректно рассуждать. GRAPHEVAL предоставляет инструментарий, разграничивающий «умение угадать» и «умение думать», — и это меняет рамку для сравнения и оценки языковых моделей в академическом и прикладном контексте.

Частые вопросы

Чем GSC отличается от стандартного Self-Consistency?

Стандартный SC берёт ответ большинства из всех сгенерированных вариантов решения. GSC выбирает цепочку рассуждений, которая структурно наиболее близка ко всем остальным (медоид), — это позволяет оценивать логический путь к ответу, а не только финальный результат.

Применим ли GRAPHEVAL к моделям любого размера?

Авторы тестировали фреймворк на моделях разного масштаба. GRCS показала устойчивую отрицательную корреляцию с неверностью рассуждений у всех протестированных моделей. Эффект GSC при этом различается: у небольших моделей он вскрывает завышенную точность SC, у более мощных — улучшает оба показателя одновременно.