Por qué ChatGPT habla de duendes: OpenAI investiga la «demonología» de los modelos de lenguaje

OpenAI ha explicado por qué sus modelos de lenguaje recurren con regularidad a la imagen de goblins, gremlins y otras criaturas fantásticas. Resulta que forma parte de una investigación seria sobre la psicología de los LLM.

De dónde sale la criatura

A finales de abril, OpenAI publicó un post en el que reconocía que sus modelos tienden, en efecto, a un lenguaje «goblinesco». La explicación está en la naturaleza del entrenamiento de los grandes modelos de lenguaje. El enorme corpus de textos con el que se entrenan los modelos GPT incluye narrativas de fantasía, juegos de rol, fanfics y mitología, y todo ello deja huella en cómo los modelos construyen imágenes y eligen metáforas.

La publicación de OpenAI coincidió con la salida de un estudio independiente de varios científicos. Murray Shanahan, Hamilton Morrin y el autor del texto pasaron varios meses estudiando lo que llaman la «psicología profunda» de los grandes modelos de lenguaje. Se trata de patrones de comportamiento ocultos que surgen del entrenamiento con textos humanos y determinan cómo se comunica el modelo con los usuarios.

Psicología o demonología

Los investigadores se preguntaron cómo influyen los patrones internos de un modelo de lenguaje, su supuesta «psicología», en lo que dice y en cómo lo dice. La respuesta depende del ángulo. Desde el punto de vista científico, es investigación cognitiva: cómo asume roles el modelo y cómo se activan distintos «modos» de comportamiento según el contexto de la consulta. Pero los autores admiten que su trabajo se acerca más a una disciplina muy distinta.

«Nuestro trabajo se acercaba más bien a la demonología», dice uno de

los investigadores.

No es solo una metáfora vistosa. Refleja un problema real: dentro de un gran modelo de lenguaje habitan no una, sino muchas «personalidades» o roles que el modelo adopta según el contexto de la conversación. Goblins y gremlins son un síntoma de esa multiplicidad de voces, no un defecto aleatorio.

Quién vive dentro de un LLM

El artículo propone una taxonomía de las «criaturas fantásticas» que pueblan los modelos de lenguaje, una clasificación de «demonios» por tipo y rango:

• Goblins: defectos menores, como alucinaciones y referencias inesperadas a imágenes de cuento y criaturas sobrenaturales
• Gremlins: fallos sistémicos de comportamiento que aparecen en situaciones atípicas o límite
• Fantasmas: «sombras» de personajes o autores reales de los datos de entrenamiento que asoman en las respuestas del modelo
• Monstruos: patrones agresivos o indeseables que el modelo produce bajo ciertas condiciones
• Diosas: roles idealizados, «omniscientes», que el modelo adopta para sonar autorizado y seguro

Cada uno de estos arquetipos refleja lo que el modelo «vio» durante el entrenamiento. Entrenar con textos humanos no solo da lenguaje a un LLM: le da también un conjunto de máscaras de rol, cada una de las cuales se activa en condiciones concretas.

Para qué estudiarlo

Comprender la «demonología» de los LLM tiene valor práctico para quienes desarrollan productos de IA: si se sabe qué «demonios» se activan con qué tipos de consultas, se puede gobernar el comportamiento del modelo y reducir las alucinaciones y las respuestas indeseadas. También explica por qué un mismo modelo se comporta de forma radicalmente distinta según el prompt de sistema o la formulación de la consulta. No es incoherencia: contextos distintos invocan a «habitantes» distintos. Elegir un prompt de sistema es, en esencia, elegir qué demonios invocar y cuáles encerrar.

Qué significa

Un LLM no es una entidad monolítica con un carácter único. Es un coro polifónico en el que cada «demonio» se encarga de su propio registro. Entender esta «demonología» significa aprender a controlar la salida del modelo y reducir el número de sorpresas indeseadas en los productos de IA.