Исследователь предложил четыре ступени смысла для ИИ: от существительных до пактов

Автор блога Tiled with Pentagons выложил на AI Alignment Forum текст, который сам называет «наполовину построенной концептуальной башней с мокрым раствором». В сокращённом виде это около 12 тысяч слов. Задача: описать, как два рассуждающих агента с разными внутренними моделями мира, но схожими предсказаниями, могут понимать друг друга на четырёх уровнях языка, от названий вещей до совместных обязательств. Автор честно предупреждает, что математики, нужной для настоящей теоремы, у него пока нет. Часть выводов он считает почти верной, часть лишь наводящей, а многое, вероятно, ошибочным. Основная версия доклада прозвучала в Беркли, на площадке Lighthaven.

Лестница из четырёх ступеней

Отправная точка здесь — идея Джона Уэнтуорта об интероперабельной семантике. Если у двух байесовских агентов совпадают предсказания, они могут договориться хотя бы о существительных как о кластерах в пространстве вещей, даже когда устроены внутри по-разному. Новизна в том, что дальше автор надстраивает ещё три уровня:

• Существительные: кластеры в пространстве вещей, базовый уровень согласования.
• Глаголы: процессы и изменения, которые опираются на уже согласованные существительные.
• Правила: ограничения на целые множества траекторий.
• Пакты: наборы правил, которые на себя берут сразу несколько агентов.

Для каждой ступени определены свои операторы. Ступень характеризуется тем, какие типы агенты уже должны понимать совместно, чтобы переводить сообщения друг друга. Центральная гипотеза, за опровержение или доказательство которой автор назначил награды: механика любой ступени не работает без нижележащих.

Маврикий, X-Men и спецификационный гейминг

Мотивацию автор иллюстрирует судебным делом 2003 года. Marvel в Суде по международной торговле США доказывала, что X-Men не люди. Закон облагал более высоким тарифом «куклы», то есть фигурки людей, и более низким остальные игрушки. Ради налоговой экономии корпорация подорвала саму рамку, на которой стоят её комиксы. Автор формулирует так: когда неудержимые деньги встретили неподвижный класс существительных, класс сдвинулся.

Дальше следует ключевой ход. Замените тарифную сетку функцией награды, и получится спецификационный гейминг: враждебное перерисовывание категорий сверху теми, у кого есть ставки и рычаги. Подробнее автор обещает разобрать это в следующем посте. Исторический свидетель у него другой: Школа имён в Китае, примерно 2300 лет назад. Её представители десятилетиями спорили, является ли белая лошадь лошадью. Над ними смеялись все школы эпохи Сражающихся царств, а свитки, по преданию, сожгли при Цинь Шихуане.

Что здесь проверяемо

Автор указывает на эмпирический след. Там, где соприкасаются две ступени, в языках мира (или в родственных когнитивных технологиях вроде договорного права) должен обнаруживаться размытый класс слов, перекрывающий разрыв между ними. Среди ориентиров он называет работы Гёрдефорса, Тарского и Гентнер, а также поздних моистов. Он сам не знает, считать ли такое соседство тревожным знаком или рвом, который ему необычно легко преодолеть. В тексте также упоминаются Тлён Борхеса и миры из волн, где глаголы появляются раньше существительных.

Алайнмент-часть выражена в одном тезисе: ценности, которые мы хотели бы передать ИИ, выразимы только как правила и пакты. При этом нет теоремы о том, когда ваше понятие «убийство» является функцией моего.

Как с этим работать

Это не готовый метод, а исследовательская программа с открытыми вопросами. Практикам, которые строят мультиагентные системы или пишут спецификации поведения моделей, полезны две мысли. Во-первых, сбои в формулировке правил стоит искать на нижних ступенях: если агенты не согласовали существительные и глаголы, пакт поверх них будет хрупким. Во-вторых, спецификационный гейминг естественно описывать как пересмотр категорий сверху, а не как баг конкретной функции награды. Тем, у кого есть математическая подготовка, автор прямо предлагает сломать конструкцию и принести починку. За это обещаны награды. Прежде чем строить на этом инструменты, стоит дождаться формальной версии: пока она отсутствует.