Transtornos mentais em agentes RL: um estudo de dose-resposta de ansiedade e mania

Pesquisadores desenvolveram um sistema para modelar sete transtornos mentais em agentes de RL através da manipulação controlada de parâmetros de avaliação cognitiva. O trabalho foi publicado no arXiv e contém resultados de mais de mil execuções controladas com efeitos reproduzíveis.

Como Simular um Transtorno em um Agente

Em vez de ajustar manualmente a recompensa para cada sintoma, os pesquisadores redesenharam o algoritmo PPO (Otimização de Política Proximal) adicionando "sinais de avaliação cognitiva" controlados. Cada sinal corresponde a um parâmetro em psiquiatria computacional:

• Sete transtornos modelados: ansiedade, mania, transtorno obsessivo-compulsivo, depressão, impulsividade, dependência, transtorno de estresse pós-traumático
• Método: curvas dose-resposta — cada parâmetro tem força (de 0 a 1), quanto maior, mais pronunciados os sintomas
• Validação: 1000+ execuções com 10 sementes aleatórias, quatro grupos de controle, intervalos de confiança de 95%

Cada sintoma foi medido através de "ensaios pré-registrados" — testes comportamentais padrão adaptados da psicologia clínica: labirintos, tarefas de flexibilidade, escolhas entre risco e segurança.

Transtornos Formam um Espaço Bidimensional

A descoberta principal: sete transtornos se auto-organizaram em um espaço bidimensional de polaridade emocional que ninguém construiu no algoritmo. Em um eixo — ansiedade e mania se mostraram polos opostos; no outro — a distinção entre transtornos que distorcem sinais de recompensa (mania, TOC, dependência) e transtornos orientados para evitação (ansiedade, TEPT).

Deste mapa surgiram previsões inesperadas sobre comorbidade: quando dois parâmetros eram ativados simultaneamente, os efeitos interagiam de forma não-aditiva, criando fenômenos combinados semelhantes aos observados na prática clínica.

Duas Lógicas de Tratamento

Remover o parâmetro (desativação completa) ajudou em transtornos que distorcem a recompensa: a mania desapareceu, a compulsão de TOC cessou, a dependência desvaneceu. Mas essa abordagem não funcionou para transtornos de evitação (ansiedade, TEPT) — o agente permaneceu bloqueado.

Para esses transtornos, a terapia de exposição gradual funcionou: aumento progressivo da complexidade do ambiente, onde o agente aprende a distinguir perigo real de falso alarme do parâmetro de ansiedade. Isso corresponde à prática clínica: terapia cognitivo-comportamental para TEPT é baseada na re-vivência controlada do trauma.

Transferência para Outros Ambientes

Três parâmetros (depressão, dependência, ansiedade) foram transferidos com sucesso para um ambiente completamente diferente — um mundo de pixels tridimensional do MiniWorld — e para outro agente (rede neural convolucional padrão sem crítica de avaliação incorporada). A dissociação entre ensaios foi confirmada no novo ambiente também, indicando: o efeito não é um artefato da arquitetura PPO ou mundos de grade.

O Que Isso Significa

A pesquisa mostra: agentes de RL podem exibir comportamentos estruturalmente similares a transtornos mentais, e esses comportamentos podem ser controlados através de parâmetros de avaliação cognitiva. Isso importa para três direções: testar teorias computacionais de psiquiatria, entender modos de falha em sistemas de RL que controlam o mundo físico, e pesquisa de segurança em IA — se um agente pode "ficar doente" de ansiedade, precisamos de métodos para diagnóstico e tratamento.