Когнитивные термометры: нейросети предлагают мерить сложность смысла

В препринте arXiv:2610.10724 (раздел cs.CL) поднят вопрос на стыке лингвистики, когнитивной науки и машинного обучения: почему естественные языки систематически предпочитают одни значения другим? Авторы предлагают измерять сложность смысла через обучаемость моделей и называют такие модели «когнитивными термометрами». Новых бенчмарков и рекордных цифр в работе нет. Это обзор накопленных данных и методологическая позиция, но у неё есть практические следствия для исследователей ИИ.

Почему логическая сложность оказалась неудобным инструментом

Семантическая типология изучает, какие значения встречаются в языках мира, а какие почти не встречаются. Типичные объекты исследования: кванторы вроде «все», «некоторые» и «большинство», слова для цвета, родства и модальности. Классическое объяснение звучит так: частые значения проще. Простоту обычно определяют через логику, то есть смотрят на длину формулы, которая описывает значение, или на сложность его определения.

У этого подхода слабое место, и авторы его прямо называют. Оценка сложности сильно зависит от выбора логического языка. Добавьте в набор примитивов один оператор, и одно значение станет «короче», а другое «длиннее». Часть таких решений исследователи принимают без независимого обоснования. Получается, что метрику можно подогнать под желаемый результат, пусть и невольно.

Что предлагают взамен

Авторы считают, что машинное обучение даёт более агностический способ измерить ту же величину. Идея в том, чтобы обучить модель распознавать значение и посмотреть, сколько данных или шагов ей для этого нужно. Чем труднее значение выучить, тем оно «сложнее». Выбор логического формализма при этом не требуется, хотя остаются другие допущения: архитектура, данные, процедура обучения.

Из обзора следуют три вывода:

• Логика и машинное обучение часто дают сходные оценки относительной сложности значений.
• Эти оценки одинаково предсказывают, какие значения чаще встречаются в языках мира.
• Там, где методы расходятся, обучаемость, по мнению авторов, объясняет типологические данные лучше логической сложности.

Отсюда и метафора термометра. Он не объясняет, почему тепло, но даёт воспроизводимое число, которое не зависит от вкусов наблюдателя. Модель в этой роли служит измерительным прибором, а не моделью человеческого мышления.

Мост между символами и коннекционизмом

Главный теоретический аргумент статьи в том, что такой подход объединяет символическую логику и коннекционистский ИИ. Много лет эти два лагеря спорили о том, чем представлять знание: правилами или распределёнными весами. Здесь им находят общую задачу. Логика задаёт гипотезы о структуре значений, а обучение проверяет, насколько эти гипотезы согласуются с тем, что реально легко усвоить.

Оговорки очевидны. Обучаемость нейросети зависит от архитектуры, индуктивных смещений и распределения данных, так что «термометр» может иметь собственную систематическую погрешность. Сходство результатов с человеческой типологией ещё не доказывает, что человек учится так же. Это корреляция между двумя измерительными процедурами, а не доказательство общего механизма.

Где это может пригодиться

Для практиков и исследователей вывод довольно приземлённый. Если вы изучаете, чему и как учатся языковые модели, семантическая типология даёт готовый набор тестовых задач с известными человеческими данными. Если вы занимаетесь интерпретируемостью, можно сравнивать «сложность для модели» с «сложностью для человека» и искать расхождения: они покажут, где модель использует чужие, нечеловеческие стратегии. Для тех, кто строит нейросимволические системы, работа служит аргументом в пользу гибридных метрик, где формальная сложность проверяется эмпирической обучаемостью.

Пока это скорее программа исследований, чем готовый стандарт. Её ценность определят воспроизводимые эксперименты на разных архитектурах: если разные модели дадут согласованный «градус сложности», термометр можно будет считать рабочим.