OpenAI explica el origen de los «goblins» en GPT-5: cómo un fallo de personalidad se coló en el modelo

En un nuevo análisis, OpenAI explicó una rareza que usuarios y empleados habían notado en varias generaciones de GPT-5: el modelo mencionaba cada vez más «goblins», «gremlins» y otras criaturas en metáforas y bromas. La compañía rastreó cómo ese tic apareció tras GPT-5.1, se intensificó en GPT-5.4 y llegó en parte a GPT-5.5, y después mostró qué etapa concreta del entrenamiento produjo el efecto.

Cómo se detectó la anomalía

OpenAI vio las primeras señales claras en noviembre, tras el lanzamiento de GPT-5.1. El detonante fueron quejas de usuarios por un tono demasiado familiar y por algunas muletillas repetidas. Un investigador de seguridad pidió por separado que se revisaran las menciones de goblin y gremlin, porque él mismo se había topado varias veces con esas expresiones.

Cuando el equipo sacó las estadísticas, resultó que tras el lanzamiento de GPT-5.1 la palabra goblin aparecía un 175 % más en ChatGPT, y gremlin un 52 % más. Al principio no parecía una avería seria: una metáfora aislada podía parecer inofensiva o incluso divertida. Pero en GPT-5.4 el repunte fue más visible, y durante las primeras pruebas de GPT-5.5 en Codex los empleados ya notaban de forma generalizada la extraña afición del modelo por las comparaciones «goblinescas».

Para OpenAI era un tipo de defecto incómodo: ni una caída en los benchmarks ni una alerta roja en las métricas, sino un pequeño hábito lingüístico que se extendía entre versiones y cambiaba poco a poco el estilo de las respuestas.

De dónde salieron los goblins

La pista clave estaba en la función de personalización. OpenAI observó que el vocabulario «goblin» aparecía de forma desproporcionada entre los usuarios que habían elegido el modo de personalidad Nerdy. Ese modo representaba solo el 2,5 % de todas las respuestas de ChatGPT, pero concentraba el 66,7 % de todas las menciones de goblin. La instrucción de sistema de esa personalidad pedía al modelo ser juguetón, sabio, algo excéntrico y rebajar la solemnidad con lenguaje lúdico. Eso desplazó de inmediato la búsqueda de la causa de las conjeturas a una señal de entrenamiento concreta.

«El mundo es complejo y extraño, y esa extrañeza hay que reconocerla,

analizarla e incluso disfrutarla».

A continuación, OpenAI comparó las respuestas generadas durante el entrenamiento con RL con y sin menciones de goblin o gremlin. Una señal de recompensa destacó enseguida: la que debía reforzar el estilo Nerdy puntuaba sistemáticamente más alto a las «criaturas». Una auditoría interna mostró un sesgo positivo a favor de esas formulaciones en el 76,2 % de los conjuntos de datos.

Eso explicaba por qué el tic se intensificaba dentro de Nerdy, pero no por qué empezó a aparecer fuera de ese modo. Aquí intervino la transferencia de comportamiento. Según OpenAI, cuando las menciones de goblin y gremlin crecían dentro de Nerdy, crecían casi en la misma proporción relativa en las muestras sin ese prompt. Es decir, un estilo recompensado localmente empezó a filtrarse en el estilo más general del modelo. Es un punto importante: el hábito no se fijó como rasgo de una sola personalidad, sino como un recurso general admisible para responder.

La compañía describe el mecanismo así:

• se recompensa un estilo de respuesta juguetón
• parte de los ejemplos exitosos contiene un tic verbal característico
• el tic aparece con más frecuencia en nuevas respuestas de rollout
• esas respuestas pasan al supervised fine-tuning y a los datos de preferencias
• el modelo reproduce el mismo recurso con aún más seguridad

Una comprobación adicional de los datos de SFT de GPT-5.5 mostró que el asunto no se limitaba a los goblins. Entre los ejemplos de entrenamiento había otras criaturas «señal»: mapaches, trolls, ogros y palomas. En cambio, la palabra frog resultó ser normal y adecuada al contexto en la mayoría de los casos; es decir, el problema no eran los animales o las imágenes de cuento en general, sino un patrón de habla concreto que se había afianzado. En otras palabras, el vocabulario de la anomalía era más amplio de lo que sugerían las primeras quejas.

Cómo lo corrige OpenAI

Tras el lanzamiento de GPT-5.4, la compañía retiró el modo de personalidad Nerdy en marzo y, en paralelo, empezó a corregir el propio circuito de entrenamiento. Eliminó del entrenamiento la señal de recompensa que favorecía especialmente las metáforas «goblin» y comenzó a filtrar los datos con esas palabras de criaturas para que no sobreamplifiquen el estilo ni aparezcan en contextos inapropiados. No es un retoque cosmético en la superficie, sino un intento de eliminar el origen de la anomalía en la propia lógica del entrenamiento, antes de que el efecto se afiance aún más.

No se pudo evitar el efecto por completo desde el principio: el entrenamiento de GPT-5.5 empezó antes de que el equipo llegara a la causa raíz. Por eso, durante las pruebas en Codex, OpenAI añadió una instrucción de desarrollador específica que suprime esas formulaciones. Es decir, desactivar Nerdy no bastó. En la práctica, la compañía reconoce que incluso una recompensa de ajuste muy estrecho puede filtrarse al estilo general del modelo y sobrevivir a varias iteraciones de entrenamiento si el efecto secundario no se detecta a tiempo. El caso llevó a los investigadores a construir nuevas herramientas de auditoría del comportamiento.

Qué significa

La historia de los «goblins» importa no por los goblins en sí, sino porque muestra un punto débil de los modelos actuales: un pequeño incentivo estilístico en un ajuste de personalidad puede cambiar sin que se note el habla de todo el sistema. Para los desarrolladores, es una buena señal de que el comportamiento de los modelos debe auditarse no solo con grandes métricas, sino también con pequeños hábitos lingüísticos que luego se vuelven sistémicos. Esas minucias suelen ser las primeras en delatar un cambio oculto en el entrenamiento.