Transtornos mentais em agentes de RL: estudo dose-resposta de ansiedade e mania

Pesquisadores desenvolveram um sistema para modelar sete transtornos psiquiátricos em agentes de RL por meio da manipulação controlada de parâmetros de avaliação cognitiva. O trabalho foi publicado no arXiv e traz resultados de mais de mil execuções controladas com efeitos reproduzíveis.

Como simular um transtorno em um agente

Em vez de ajustar manualmente a recompensa para cada sintoma, os pesquisadores modificaram o algoritmo PPO (Proximal Policy Optimization) e acrescentaram «sinais de avaliação cognitiva» controláveis. Cada sinal corresponde a um parâmetro da psiquiatria computacional:

• Sete transtornos modelados: ansiedade, mania, transtorno obsessivo-compulsivo, depressão, impulsividade, dependência, estresse pós-traumático
• Método: curvas dose-resposta. Cada parâmetro tem uma intensidade (de 0 a 1); quanto maior, mais acentuados os sintomas
• Validação: mais de 1000 execuções com 10 sementes aleatórias, quatro grupos de controle, intervalos de confiança de 95%

Cada sintoma foi medido por «ensaios pré-registrados», testes comportamentais padrão adaptados da psicologia clínica: labirintos, tarefas de flexibilidade e escolhas entre risco e segurança.

Os transtornos formam um espaço bidimensional

A principal descoberta: os sete transtornos se autoorganizaram em um espaço bidimensional de polaridade emocional que ninguém incluiu no algoritmo. Em um eixo, ansiedade e mania se mostraram polos opostos; no outro, a diferença separa os transtornos que distorcem o sinal de recompensa (mania, TOC, dependência) dos voltados à evitação (ansiedade, TEPT).

Desse mapa saíram previsões inesperadas sobre comorbidade: ao ativar dois parâmetros ao mesmo tempo, os efeitos interagiram de forma não aditiva e geraram fenômenos combinados semelhantes aos observados na clínica.

Duas lógicas de tratamento

Remover o parâmetro (desligá-lo por completo) ajudou nos transtornos que distorcem a recompensa: a mania desapareceu, a compulsão do TOC cessou e a dependência se extinguiu. Mas essa abordagem não funcionou para os transtornos de evitação (ansiedade, TEPT): o agente continuou travado.

Para esses transtornos, funcionou a terapia de exposição gradual: a dificuldade do ambiente aumenta aos poucos e o agente aprende a distinguir perigo real de alarme falso do parâmetro de ansiedade. Isso condiz com a prática clínica: a terapia cognitivo-comportamental para TEPT se baseia na reexperiência controlada do trauma.

Transferência para outros ambientes

Três parâmetros (depressão, dependência, ansiedade) foram transferidos com sucesso para um ambiente totalmente diferente, o mundo de pixels tridimensional MiniWorld, e para outro agente (uma rede neural convolucional padrão, sem crítico de avaliação embutido). A dissociação entre os ensaios se confirmou também no novo ambiente, o que indica que o efeito não é um artefato da arquitetura PPO nem do mundo em grade.

O que isso significa

O estudo mostra que agentes de RL podem exibir comportamentos estruturalmente parecidos com transtornos psiquiátricos, e que esses comportamentos podem ser controlados por parâmetros de avaliação cognitiva. Isso importa em três frentes: testar teorias computacionais da psiquiatria, entender modos de falha em sistemas de RL que controlam o mundo físico e pesquisar segurança de IA. Se um agente pode «adoecer» de ansiedade, são necessários métodos de diagnóstico e tratamento.