Бенчмарк CBE вскрыл сбои логики у шести моделей GPT и Qwen при смене формулировок

Стандартные бенчмарки измеряют возможности языковых моделей через процент правильных ответов, маскируя хрупкость внутренней логики. Исследователи предложили альтернативный протокол тестирования под названием Competence-Based Evaluation (CBE). Метод проверяет, способна ли нейросеть удерживать одно и то же логическое правило, если задача усложняется по строго заданным параметрам или переформулируется другими словами. Эксперименты на шести моделях линеек GPT и Qwen показали системный провал: системы демонстрируют приемлемую точность на узких диапазонах сложности, но ломаются при минимальном изменении контекста.

Параметрический генератор против поверхностных эвристик

Классические тесты вроде GSM8k или MMLU фиксируют срез эрудиции или решение шаблонных примеров, где модель может угадать ответ за счет статистических корреляций. Авторы CBE реализовали параметрический генератор задач на элементарное упорядочивание. Архитектура бенчмарка фиксирует базовое правило, увеличивая размер входного массива данных и варьируя семантическую оболочку вопроса. Если модель действительно владеет логической компетенцией, сдвиг формулировки с сохранением структуры ответа не должен влиять на результат. Однако на практике кривая точности стремительно деградирует по мере удлинения цепочек.

Результаты тюнинга и ограничения архитектур

Тестирование выявило пределы существующих методов оптимизации рассуждений. Дообучение через LoRA с учителем показало почти нулевой перенос на не встречавшиеся ранее формулировки: адаптер просто подгоняет веса под синтаксис обучающей выборки. Продвинутые техники дали смешанные результаты:

• Chain-of-thought заметно снижает долю случайных галлюцинаций на средних длинах списков, но упирается в собственный лимит контекста.
• Обучение с подкреплением через GRPO (Group Relative Policy Optimization) расширяет диапазон устойчивости рассуждений глубже, чем стандартный RLHF.
• Ни одна из шести протестированных моделей не смогла пройти критерий стабильной компетенции во всем диапазоне сложности.
• Разрыв между результатами на идентичных по смыслу, но разных по синтаксису промптах достигает десятков процентных пунктов.

Индустрия подошла к точке, где наращивание точности на статичных бенчмарках больше не отражает инженерной надежности систем. Для критических корпоративных сценариев — от верификации кода до финансового аудита — важна предсказуемость логики при нестандартном вводе. Протокол CBE показывает разработчикам реальный профиль отказов конкретной архитектуры. Пока LLM не научатся обобщать правила независимо от текстовой формы задачи, строить на их базе автономные агентные цепочки придется с постоянным внешним контролем верификаторов.