Troubles mentaux chez les agents RL : une étude dose-réponse de l'anxiété et de la manie

Les chercheurs ont développé un système de modélisation de sept troubles mentaux dans des agents de RL par manipulation contrôlée des paramètres d'évaluation cognitive. Le travail a été publié sur arXiv et contient les résultats de plus de mille exécutions contrôlées avec des effets reproductibles.

Comment Simuler un Trouble dans un Agent

Au lieu d'ajuster manuellement les récompenses pour chaque symptôme, les chercheurs ont repensé l'algorithme PPO (Optimisation de Politique Proximale) en ajoutant des "signaux d'évaluation cognitive" contrôlés. Chaque signal correspond à un paramètre en psychiatrie computationnelle:

• Sept troubles modélisés: anxiété, manie, trouble obsessionnel-compulsif, dépression, impulsivité, dépendance, trouble de stress post-traumatique
• Méthode: courbes dose-réponse — chaque paramètre a une intensité (de 0 à 1), plus elle est élevée, plus les symptômes sont prononcés
• Validation: 1000+ exécutions avec 10 graines aléatoires, quatre groupes de contrôle, intervalles de confiance à 95%

Chaque symptôme a été mesuré par des "essais pré-enregistrés" — des tests comportementaux standard adaptés de la psychologie clinique: labyrinthes, tâches de flexibilité, choix entre risque et sécurité.

Les Troubles Forment un Espace Bidimensionnel

La découverte majeure: sept troubles se sont auto-organisés dans un espace bidimensionnel de polarité émotionnelle que personne n'a intégré dans l'algorithme. Sur un axe — l'anxiété et la manie se sont avérées être des pôles opposés; sur l'autre — la distinction entre les troubles qui déforment les signaux de récompense (manie, TOC, dépendance) et les troubles orientés vers l'évitement (anxiété, TSPT).

De cette cartographie ont émergé des prédictions inattendues sur la comorbidité: lorsque deux paramètres étaient activés simultanément, les effets interagissaient de manière non-additive, créant des phénomènes combinés similaires à ceux observés en pratique clinique.

Deux Logiques de Traitement

Supprimer le paramètre (désactivation complète) a aidé avec les troubles qui déforment les récompenses: la manie a disparu, la compulsion du TOC s'est arrêtée, la dépendance s'est estompée. Mais cette approche n'a pas fonctionné pour les troubles d'évitement (anxiété, TSPT) — l'agent est resté bloqué.

Pour ces troubles, la thérapie d'exposition progressive a fonctionné: augmentation progressive de la complexité de l'environnement, où l'agent apprend à distinguer le vrai danger de la fausse alarme du paramètre d'anxiété. Cela correspond à la pratique clinique: la thérapie cognitivo-comportementale pour le TSPT repose sur la réexposition contrôlée au traumatisme.

Transfert vers d'Autres Environnements

Trois paramètres (dépression, dépendance, anxiété) ont été transférés avec succès vers un environnement complètement différent — un monde de pixels tridimensionnel de MiniWorld — et vers un autre agent (réseau de neurones convolutif standard sans critique d'évaluation intégrée). La dissociation entre les essais a été confirmée dans le nouvel environnement également, indiquant: l'effet n'est pas un artefact de l'architecture PPO ou des mondes en grille.

Ce Que Cela Signifie

La recherche montre: les agents de RL peuvent exhiber des comportements structurellement similaires aux troubles mentaux, et ces comportements peuvent être contrôlés par les paramètres d'évaluation cognitive. Cela importe pour trois directions: tester les théories computationnelles de la psychiatrie, comprendre les modes de défaillance dans les systèmes de RL contrôlant le monde physique, et la recherche en sécurité de l'IA — si un agent peut "tomber malade" d'anxiété, nous avons besoin de méthodes pour le diagnostic et le traitement.