Компетентность вместо точности: почему GPT и Qwen теряют логику в вариациях

Исследователи из Университета Иллинойса опубликовали работу, которая ставит под сомнение надежность текущих методов оценки логического мышления в больших языковых моделях. Новая методология Competence-Based Evaluation (CBE) выявила фундаментальное несоответствие: модели, показывающие высокую точность на стандартных бенчмарках, не могут стабильно применять одно и то же логическое правило при изменении формулировки или сложности задачи.

Проблема с текущей оценкой логического рассуждения

Несмотря на впечатляющие успехи больших языковых моделей на разнообразных задачах, в логическом рассуждении остаются серьезные проблемы, включая непоследовательность при лингвистических вариациях. Текущие бенчмарки оценивают модели через единственный показатель — точность на выбранном наборе задач. Такой подход не раскрывает способность к обобщению и переносу знаний на новые варианты одной задачи.

Методология Competence-Based Evaluation

Исследователи предложили альтернативную парадигму оценки — CBE, которая проверяет, способны ли модели надежно применять одно знание ко всей семье связанных проблем. Ключевая идея заключается в использовании параметризованного генератора задач, который масштабирует сложность, сохраняя неизменной требуемую компетенцию. Согласованные представления ответов тестируют корректность логики за пределами одной конкретной формулировки.

Методология была применена к элементарным задачам упорядочивания (ordering tasks), где входной размер масштабировался, а способы представления одного и того же правила упорядочивания варьировались.

Результаты тестирования шести моделей семейств GPT и Qwen

В тестировании участвовали шесть моделей из семейств GPT и Qwen. Результаты оказались показательными:

• Производительность в ограниченных диапазонах: модели показали приемлемую производительность в ограниченных диапазонах сложности, но даже сильные модели не прошли проверку компетентности при расширении семейства задач

• Chain-of-Thought (CoT) и GRPO: техники явного рассуждения (chain-of-thought) и метод GRPO расширили диапазон сильной производительности, однако не устранили все выявленные ошибки в логическом переносе знаний

• Supervised LoRA: подход supervised LoRA показал минимальный перенос знаний на новые, не виденные моделью ранее данные

Эти результаты указывают на более глубокую проблему: стандартная метрика точности не коррелирует с надежностью логического переноса и обобщения.

Перспективы и значение для развития LLM

Методология CBE обеспечивает детальные диагностические профили каждой модели и предлагает эвалюационный протокол, который может эволюционировать вместе с развитием будущих поколений моделей. Исследование подчеркивает необходимость переосмысления подходов к измерению логических способностей LLM — не только через повышение общей точности, но и через обеспечение надежности и стабильности применения знаний при вариациях задач.