Trastornos mentales en agentes de RL: un estudio dosis-respuesta de ansiedad y manía

Un grupo de investigadores ha desarrollado un sistema para modelar siete trastornos psiquiátricos en agentes de RL mediante la manipulación controlada de parámetros de evaluación cognitiva. El trabajo está publicado en arXiv y recoge los resultados de más de mil ejecuciones controladas con efectos reproducibles.

Cómo simular un trastorno en un agente

En lugar de ajustar a mano la recompensa para cada síntoma, los investigadores modificaron el algoritmo PPO (Proximal Policy Optimization) y añadieron «señales de evaluación cognitiva» controlables. Cada señal corresponde a un parámetro de la psiquiatría computacional:

• Siete trastornos modelados: ansiedad, manía, trastorno obsesivo-compulsivo, depresión, impulsividad, adicción, estrés postraumático
• Método: curvas dosis-respuesta. Cada parámetro tiene una intensidad (de 0 a 1); cuanto mayor es, más marcados son los síntomas
• Validación: más de 1000 ejecuciones con 10 semillas aleatorias, cuatro grupos de control, intervalos de confianza del 95 %

Cada síntoma se midió con «ensayos preregistrados», pruebas conductuales estándar adaptadas de la psicología clínica: laberintos, tareas de flexibilidad y elecciones entre riesgo y seguridad.

Los trastornos forman un espacio bidimensional

El hallazgo principal: los siete trastornos se autoorganizaron en un espacio bidimensional de polaridad emocional que nadie incorporó al algoritmo. En un eje, la ansiedad y la manía resultaron ser polos opuestos; en el otro, la diferencia separa los trastornos que distorsionan la señal de recompensa (manía, TOC, adicción) de los orientados a la evitación (ansiedad, TEPT).

De este mapa surgieron predicciones inesperadas sobre comorbilidad: al activar dos parámetros a la vez, los efectos interactuaban de forma no aditiva y producían fenómenos combinados parecidos a los observados en la clínica.

Dos lógicas de tratamiento

Eliminar el parámetro (apagarlo por completo) ayudó en los trastornos que distorsionan la recompensa: la manía desaparecía, la compulsión del TOC cesaba y la adicción se extinguía. Pero este enfoque no funcionó con los trastornos de evitación (ansiedad, TEPT): el agente seguía bloqueado.

Para estos trastornos funcionó la terapia de exposición gradual: se aumenta poco a poco la dificultad del entorno y el agente aprende a distinguir el peligro real de la falsa alarma del parámetro de ansiedad. Esto coincide con la práctica clínica: la terapia cognitivo-conductual para el TEPT se basa en la reexperimentación controlada del trauma.

Transferencia a otros entornos

Tres parámetros (depresión, adicción, ansiedad) se transfirieron con éxito a un entorno completamente distinto, el mundo de píxeles tridimensional MiniWorld, y a otro agente (una red neuronal convolucional estándar sin crítico de evaluación integrado). La disociación entre ensayos se confirmó también en el nuevo entorno, lo que indica que el efecto no es un artefacto de la arquitectura PPO ni del mundo en cuadrícula.

Qué significa

El estudio muestra que los agentes de RL pueden exhibir comportamientos estructuralmente parecidos a los trastornos psiquiátricos y que estos se pueden controlar mediante parámetros de evaluación cognitiva. Esto importa en tres frentes: probar teorías computacionales de la psiquiatría, entender los modos de fallo de los sistemas de RL que controlan el mundo físico y la investigación en seguridad de la IA. Si un agente puede «enfermar» de ansiedad, hacen falta métodos de diagnóstico y tratamiento.