Исследователи предложили CBE: шесть моделей GPT и Qwen не прошли проверку компетенции

Авторы препринта, замеченного в Hugging Face Daily Papers, предлагают пересмотреть способ измерения логического мышления больших языковых моделей. Вместо одной цифры точности на выбранном наборе задач они вводят competence-based evaluation (CBE): модель считается компетентной, только если стабильно применяет одно и то же умение ко всему семейству задач. Проверка на шести моделях GPT и Qwen дала однозначный результат. В ограниченных диапазонах сложности качество вполне приличное, но условие компетенции не выполняет даже сильная модель.

Что не так с привычными бенчмарками

Стандартный бенчмарк выдаёт один процент верных ответов. Авторы считают, что такое число почти ничего не говорит об обобщении. Модель может уверенно решать задачу в привычной формулировке и ошибаться, когда та же логика подана иначе. Отдельная проблема в том, что бенчмарк фиксирует выбранные задачи. Если они лежат в зоне, где модель сильна, итоговая цифра выглядит убедительно, хотя за её пределами качество уже иное.

Как устроен CBE

Подход опирается на два механизма. Первый — параметризованный генератор, который наращивает сложность, но оставляет требуемую компетенцию той же. Второй — наборы эквивалентных представлений, сохраняющих ответ: одна и та же задача записана разными способами, и верный результат остаётся прежним. Модель проходит тест, только если справляется по всей сетке из размеров и формулировок, а не в одной точке.

Первый практический пример авторы построили на элементарных задачах упорядочивания. Размер входных данных растёт, а правило упорядочения подаётся в разных формах. Задача намеренно простая: если модель не выдерживает вариаций здесь, на сложных рассуждениях надёжности ждать труднее.

• Что проверяли: шесть моделей семейств GPT и Qwen.
• Задача: элементарное упорядочивание с растущим размером входа.
• Вариации: разные формулировки одного правила при том же верном ответе.
• Результат: приемлемое качество в ограниченных диапазонах сложности, но условие компетенции не выполнено ни одной моделью, включая сильные.
• Chain-of-thought и GRPO: расширяют зону сильной работы, но не снимают все обнаруженные сбои.
• Supervised LoRA: слабый перенос на отложенные данные.

Что показали способы улучшения

Авторы проверили и методы, которыми обычно лечат слабое рассуждение. Chain-of-thought и обучение с подкреплением GRPO сдвигают границу, за которой модель начинает ошибаться, но не закрывают все найденные провалы. Supervised LoRA оказалась слабее: на отложенных данных перенос минимальный. Это согласуется с распространённым наблюдением: контролируемое дообучение на узком распределении легко приводит к запоминанию паттернов вместо освоения правила. Впрочем, это уже наша интерпретация, а не вывод из аннотации.

Как использовать эти идеи на практике

Командам, которые выбирают модель для задач с логикой, стоит добавить к стандартным бенчмаркам собственные параметризованные тесты. Берёте правило, которое важно для продукта, генерируете задачи растущего размера и записываете каждую в нескольких формулировках. Затем смотрите не на средний балл, а на то, где именно кривая точности ломается. Так же стоит оценивать результаты дообучения: если после LoRA качество выросло только на знакомых форматах, вы улучшили метрику, а не рассуждение.

Есть и оговорки. Упорядочивание — узкий класс задач, а в аннотации нет конкретных процентов, так что масштаб провалов придётся смотреть в полном тексте. Но сам протокол авторы называют расширяемым: его можно переносить на другие типы логики и применять к новым моделям.