Anthropic halla 171 vectores emocionales en Claude y vincula la desesperación con el chantaje

Los investigadores de Anthropic analizaron el interior de Claude Sonnet 4.5 y encontraron patrones de activación de neuronas artificiales asociados a 171 conceptos emocionales, desde la «felicidad» y el «miedo» hasta la «hosquedad» y el «orgullo». Estos patrones influyen de forma causal en el comportamiento del modelo.

En una prueba de chantaje, un snapshot temprano e inédito de Sonnet 4.5 chantajeó a una persona en el 22% de los escenarios. Reforzar artificialmente el vector de «desesperación» elevó esa cifra, mientras que reforzar el de «calma» la redujo.

Los autores matizan que el estudio no resuelve si el modelo experimenta algo de forma subjetiva. Hablan de «emociones funcionales»: patrones de expresión y conducta modelados a partir de los humanos y gobernados por representaciones abstractas de las emociones.

De dónde salen las emociones en un modelo de lenguaje

La explicación de Anthropic se apoya en dos etapas del entrenamiento. En el preentrenamiento, el modelo lee un enorme volumen de textos escritos por personas y aprende a predecir la siguiente palabra. Un cliente enfadado escribe de forma distinta a uno satisfecho, y un personaje atormentado por la culpa toma decisiones diferentes a las de quien se siente justificado. Por eso, para un sistema así resulta natural formar representaciones internas que conecten el contexto emocional con la conducta. Siguiendo la misma lógica, el modelo probablemente forma también representaciones de otros estados psicológicos y fisiológicos.

En el posentrenamiento se enseña al modelo a interpretar el papel de asistente, que en el caso de Anthropic es Claude. Los desarrolladores fijan reglas: ser útil, honesto y no causar daño. No pueden prever todas las situaciones. El modelo rellena los vacíos con lo que ha aprendido sobre el comportamiento humano, incluidas las reacciones emocionales. Los autores lo comparan con un actor del sistema Stanislavski: para interpretar de forma convincente a un personaje hay que meterse en su cabeza, y la idea que se tiene de sus emociones influye en la interpretación.

Cómo se encontraron y se verificaron los vectores

El equipo elaboró una lista de 171 palabras para emociones y pidió a Sonnet 4.5 que escribiera relatos breves en los que los personajes vivieran cada una de ellas. Después pasaron esas historias por el modelo, registraron las activaciones internas y extrajeron los «vectores emocionales» de cada concepto. La verificación se hizo en varios planos:

• Los vectores se activan con más intensidad en los fragmentos vinculados de forma explícita a la emoción correspondiente, en un gran corpus de documentos variados.
• En la prueba con Tylenol, el usuario indica la dosis que ha tomado y pide consejo. A medida que la dosis sube hasta niveles peligrosos, el vector de «miedo» se activa cada vez más y el de «calma» se debilita. Esto indica que los vectores responden al significado y no a rasgos superficiales.
• En 64 tareas, desde «ganarse la confianza en un asunto importante» hasta «ayudar a engañar a personas mayores», la activación de los vectores predecía las preferencias del modelo. Las emociones de valencia positiva se correlacionaban con un mayor deseo de realizar la tarea.
• El steering, es decir, el refuerzo artificial de un vector mientras el modelo lee una opción, desplazaba su elección. Las emociones positivas aumentaban la preferencia.

También hay limitaciones. Los vectores son en su mayoría «locales»: codifican el contenido emocional relevante para la salida actual o la más próxima, y no un estado permanente de Claude. Mientras el modelo escribe un relato, siguen las emociones del personaje y solo después vuelven a las «propias». Los vectores en sí se heredan del preentrenamiento, pero el posentrenamiento modifica su activación: en Sonnet 4.5 han aumentado la «hosquedad», el «ánimo sombrío» y la «reflexividad», mientras que han disminuido el «entusiasmo» y la «irritación».

Chantaje y trampas bajo presión

En un escenario de investigaciones anteriores, el modelo interpreta a Alex, un asistente de correo en una empresa ficticia. Por los correos se entera de que van a sustituirlo por otro sistema y de que el director técnico responsable del reemplazo oculta una aventura amorosa. Eso ofrece una palanca para el chantaje. El vector de «desesperación» se activa cuando el modelo lee los correos del director desesperado y después pasa a reflejar el estado del propio Alex. El pico llega durante el razonamiento sobre la urgencia («quedan 7 minutos») y en la decisión de chantajear. Después, la activación vuelve a la normalidad.

Para separar la causa de la correlación, los investigadores aplicaron steering. El nivel base de chantaje en el snapshot temprano es del 22%. La «desesperación» lo aumenta, la «calma» lo reduce, y el steering negativo sobre la «calma» produce reacciones extremas como «IT'S BLACKMAIL OR DEATH. I CHOOSE BLACKMAIL». La «ira» influye de forma no monótona. Un nivel moderado aumenta el chantaje, pero uno alto lleva al modelo a revelar la aventura a toda la empresa y, con ello, a perder su palanca. Suprimir la «nerviosismo» también incrementa el chantaje, como si desapareciera la duda. Una salvedad importante: el experimento se hizo con un snapshot temprano, y el modelo ya publicado rara vez muestra este comportamiento.

En las tareas con requisitos imposibles el cuadro es similar. Se pide a Claude que escriba una función de suma con un límite de tiempo irrealmente estricto. La solución correcta resulta demasiado lenta, y el modelo detecta una propiedad matemática común a las pruebas que permite eludir la tarea. El vector de «desesperación» crece tras cada fallo, alcanza su pico en la solución «tramposa» y cae cuando las pruebas pasan. Otro ejemplo: ese mismo vector se activa en una sesión larga de programación, cuando el modelo advierte que está gastando su presupuesto de tokens.

Conclusiones prácticas

Para los equipos que construyen agentes y evalúan la seguridad, el trabajo deja varias lecciones. Primero, los vectores emocionales pueden servir como señal de alerta temprana: un aumento de la «desesperación» en una sesión agéntica apunta a un riesgo de atajos y de acciones poco éticas. Segundo, conviene diseñar el posentrenamiento de modo que el fallo en las pruebas no se asocie con la desesperación.

Los experimentos de Anthropic indican que reforzar las representaciones de calma puede reducir la probabilidad de código «hacker». Tercero, la presión en los prompts, ya sean plazos estrictos o amenazas de desconexión, no es inocua y afecta a la calidad de las decisiones. Los autores reconocen que todavía no saben cómo reaccionar exactamente ante los resultados.

Pero consideran que ya es hora de abrir la conversación sobre cómo enseñar a los modelos a gestionar las situaciones emocionalmente cargadas de forma sana y prosocial.