Trastornos mentales en agentes RL: un estudio de dosis-respuesta de ansiedad y manía

Los investigadores desarrollaron un sistema para modelar siete trastornos mentales en agentes de RL mediante la manipulación controlada de parámetros de evaluación cognitiva. El trabajo fue publicado en arXiv y contiene resultados de más de mil ejecuciones controladas con efectos reproducibles.

Cómo Simular un Trastorno en un Agente

En lugar de ajustar manualmente la recompensa para cada síntoma, los investigadores rediseñaron el algoritmo PPO (Optimización de Políticas Proximales) añadiendo "señales de evaluación cognitiva" controladas. Cada señal corresponde a un parámetro en psiquiatría computacional:

• Siete trastornos modelados: ansiedad, manía, trastorno obsesivo-compulsivo, depresión, impulsividad, adicción, estrés postraumático
• Método: curvas dosis-respuesta — cada parámetro tiene una intensidad (de 0 a 1), cuanto mayor sea, más pronunciados los síntomas
• Validación: 1000+ ejecuciones con 10 semillas aleatorias, cuatro grupos de control, intervalos de confianza del 95%

Cada síntoma fue medido mediante "ensayos preregistrados" — pruebas de comportamiento estándar adaptadas de la psicología clínica: laberintos, tareas de flexibilidad, elecciones entre riesgo y seguridad.

Los Trastornos Forman un Espacio Bidimensional

El hallazgo principal: siete trastornos se auto-organizaron en un espacio bidimensional de polaridad emocional que nadie incorporó en el algoritmo. En un eje — la ansiedad y la manía resultaron ser polos opuestos; en el otro — la distinción entre trastornos que distorsionan las señales de recompensa (manía, TOC, adicción) y trastornos orientados a la evitación (ansiedad, TEPT).

De este mapa surgieron predicciones inesperadas sobre comorbilidad: cuando se activaban dos parámetros simultáneamente, los efectos interactuaban de forma no aditiva, creando fenómenos combinados similares a los observados en la práctica clínica.

Dos Lógicas de Tratamiento

Eliminar el parámetro (desactivación completa) ayudó con trastornos que distorsionan la recompensa: la manía desapareció, la compulsión del TOC se detuvo, la adicción se desvaneció. Pero este enfoque no funcionó para trastornos de evitación (ansiedad, TEPT) — el agente permaneció bloqueado.

Para estos trastornos, funcionó la terapia de exposición gradual: aumentar progresivamente la complejidad del entorno, donde el agente aprende a distinguir el peligro real de la falsa alarma del parámetro de ansiedad. Esto corresponde a la práctica clínica: la terapia cognitivo-conductual para el TEPT se basa en la re-experimentación controlada del trauma.

Transferencia a Otros Entornos

Tres parámetros (depresión, adicción, ansiedad) se transfirieron exitosamente a un entorno completamente diferente — un mundo de píxeles tridimensional de MiniWorld — y a otro agente (red neuronal convolucional estándar sin crítica de evaluación incorporada). La disociación entre ensayos fue confirmada en el nuevo entorno también, lo que indica: el efecto no es un artefacto de la arquitectura PPO o mundos de cuadrícula.

Qué Significa Esto

La investigación muestra: los agentes de RL pueden exhibir comportamientos estructuralmente similares a trastornos mentales, y estos comportamientos pueden ser controlados mediante parámetros de evaluación cognitiva. Esto importa para tres direcciones: probar teorías computacionales de la psiquiatría, entender los modos de falla en sistemas de RL que controlan el mundo físico, e investigación de seguridad en IA — si un agente puede "enfermarse" de ansiedad, necesitamos métodos para diagnóstico y tratamiento.