Troubles mentaux chez les agents de RL : une étude dose-réponse de l'anxiété et de la manie

Des chercheurs ont mis au point un système permettant de modéliser sept troubles psychiatriques chez des agents de RL grâce à la manipulation contrôlée de paramètres d'évaluation cognitive. Les travaux sont publiés sur arXiv et rapportent les résultats de plus de mille exécutions contrôlées aux effets reproductibles.

Comment simuler un trouble chez un agent

Plutôt que de régler à la main la récompense pour chaque symptôme, les chercheurs ont modifié l'algorithme PPO (Proximal Policy Optimization) en y ajoutant des « signaux d'évaluation cognitive » contrôlables. Chaque signal correspond à un paramètre de la psychiatrie computationnelle :

• Sept troubles modélisés : anxiété, manie, trouble obsessionnel-compulsif, dépression, impulsivité, addiction, stress post-traumatique
• Méthode : courbes dose-réponse. Chaque paramètre a une intensité (de 0 à 1) ; plus elle est élevée, plus les symptômes sont marqués
• Validation : plus de 1000 exécutions avec 10 graines aléatoires, quatre groupes témoins, intervalles de confiance à 95 %

Chaque symptôme a été mesuré par des « tests préenregistrés », des épreuves comportementales standard adaptées de la psychologie clinique : labyrinthes, tâches de flexibilité, choix entre risque et sécurité.

Les troubles forment un espace à deux dimensions

La principale découverte : les sept troubles se sont auto-organisés dans un espace à deux dimensions de polarité émotionnelle que personne n'avait intégré à l'algorithme. Sur un axe, l'anxiété et la manie se sont révélées être des pôles opposés ; sur l'autre, la distinction sépare les troubles qui faussent le signal de récompense (manie, TOC, addiction) de ceux axés sur l'évitement (anxiété, SSPT).

Cette carte a produit des prédictions inattendues sur la comorbidité : lorsque deux paramètres étaient activés simultanément, leurs effets interagissaient de façon non additive et créaient des phénomènes combinés semblables à ceux observés en clinique.

Deux logiques de traitement

Supprimer le paramètre (le désactiver complètement) a aidé pour les troubles qui faussent la récompense : la manie disparaissait, la compulsion du TOC cessait, l'addiction s'éteignait. Mais cette approche n'a pas fonctionné pour les troubles d'évitement (anxiété, SSPT) : l'agent restait bloqué.

Pour ces troubles, la thérapie d'exposition graduelle a fonctionné : la difficulté de l'environnement augmente par paliers, et l'agent apprend à distinguer le danger réel de la fausse alerte du paramètre d'anxiété. Cela correspond à la pratique clinique : la thérapie cognitivo-comportementale du SSPT repose sur la réexposition contrôlée au traumatisme.

Transfert vers d'autres environnements

Trois paramètres (dépression, addiction, anxiété) ont été transférés avec succès vers un environnement entièrement différent, le monde de pixels en trois dimensions MiniWorld, et vers un autre agent (un réseau de neurones convolutif standard sans critique d'évaluation intégré). La dissociation entre les tests s'est confirmée dans ce nouvel environnement, ce qui indique que l'effet n'est pas un artefact de l'architecture PPO ni du monde en grille.

Ce que cela signifie

L'étude montre que les agents de RL peuvent présenter des comportements structurellement proches de troubles psychiatriques, et que ces comportements se contrôlent via des paramètres d'évaluation cognitive. Cela compte dans trois domaines : tester les théories computationnelles de la psychiatrie, comprendre les modes de défaillance des systèmes de RL qui pilotent le monde physique, et la recherche en sécurité de l'IA. Si un agent peut « tomber malade » d'anxiété, il faut des méthodes de diagnostic et de traitement.