Психические расстройства в RL-агентах: исследование dose-response тревоги и мании

Исследователи разработали систему для моделирования семи психических расстройств в RL-агентах через контролируемую манипуляцию параметрами когнитивной оценки. Работа опубликована на arXiv и содержит результаты более тысячи контролируемых запусков с воспроизводимыми эффектами.

Как симулировать расстройство в агенте

Вместо ручной подстройки награды для каждого симптома, исследователи переделали алгоритм PPO (Proximal Policy Optimization), добавив контролируемые «когнитивные оценочные сигналы». Каждый сигнал соответствует параметру в вычислительной психиатрии:

• Семь моделируемых расстройств: тревога, мания, обсессивно-компульсивное расстройство, депрессия, импульсивность, зависимость, посттравматический стресс
• Метод: dose-response кривые — каждый параметр имеет силу (от 0 до 1), чем выше, тем ярче симптомы
• Валидация: 1000+ запусков с 10 случайными зёрнами, четыре контрольные группы, 95% доверительные интервалы

Каждый симптом измеряли через «преregistered assays» — стандартные поведенческие тесты, адаптированные из клинической психологии: лабиринты, задачи на гибкость, выбор между риском и безопасностью.

Расстройства образуют двумерное пространство

Главное открытие: семь расстройств самоорганизовались в двумерное пространство эмоциональной полярности, которое никто не закладывал в алгоритм. На одной оси — тревога и мания оказались противоположными полюсами; на другой — различие между расстройствами, искажающими сигнал награды (мания, ОКР, зависимость), и расстройствами, ориентированными на избегание (тревога, ПТСР).

Из этой карты вытекли неожиданные предсказания про коморбидность: когда включали два параметра одновременно, эффекты взаимодействовали неаддитивно, создавая комбинированные феномены, похожие на наблюдаемые в клинике.

Две логики лечения

Удаление параметра (полное выключение) помогало при расстройствах, искажающих награду: мания исчезала, ОКР-компульсия прекращалась, зависимость затухала. Но такой подход не работал для избегающих расстройств (тревога, ПТСР) — агент оставался заблокирован.

Для этих расстройств сработала градуальная exposure-терапия: постепенное повышение сложности среды, при котором агент обучается различать реальную опасность от ложного срабатывания тревоги-параметра. Это соответствует клинической практике: когнитивно-поведенческая терапия для ПТСР основана на контролируемом повторном переживании травмы.

Перенос в другие среды

Три параметра (депрессия, зависимость, тревога) успешно перенеслись в полностью другую среду — трёхмерный пиксельный мир MiniWorld — и на другого агента (стандартная свёрточная нейросеть без встроенного appraisal-критика). Диссоциация между assays подтвердилась и в новой среде, что указывает: эффект не артефакт PPO-архитектуры или решётчатого мира.

Что это значит

Исследование показывает: RL-агенты могут проявлять поведения, структурно похожие на психические расстройства, и эти поведения поддаются контролю через параметры когнитивной оценки. Это важно для трёх направлений: тестирование вычислительных теорий психиатрии, понимание failure modes в RL-системах, контролирующих физический мир, и исследование AI-безопасности — если агент может «заболеть» тревогой, нужны методы диагностики и лечения.