Por que o ChatGPT fala de goblins: a OpenAI investiga a «demonologia» dos modelos de linguagem

A OpenAI explicou por que seus modelos de linguagem recorrem com frequência à imagem de goblins, gremlins e outras criaturas fantásticas. Isso se revelou parte de uma pesquisa séria sobre a psicologia dos LLMs.

De onde vêm as criaturas

No fim de abril, a OpenAI publicou um post em que reconhecia: seus modelos de fato têm tendência a uma linguagem «goblinesca». A explicação está na natureza do treinamento dos grandes modelos de linguagem. O enorme corpus de textos usado para treinar os modelos GPT inclui narrativas de fantasia, jogos de RPG, fanfics e mitologia, e tudo isso deixa marcas na forma como os modelos constroem imagens e escolhem metáforas.

A publicação da OpenAI coincidiu com a divulgação de um estudo independente de vários cientistas. Murray Shanahan, Hamilton Morrin e o autor do texto passaram vários meses estudando o que chamam de «psicologia profunda» dos grandes modelos de linguagem. Trata-se de padrões ocultos de comportamento que surgem do treinamento com textos humanos e determinam como o modelo se comunica com os usuários.

Psicologia ou demonologia

Os pesquisadores se perguntaram como os padrões internos de um modelo de linguagem, sua suposta «psicologia», afetam o que e como ele diz. A resposta depende do ângulo. Do ponto de vista científico, é pesquisa cognitiva: como o modelo assume papéis e como diferentes «modos» de comportamento se ativam conforme o contexto da solicitação. Mas os autores admitem que o trabalho deles se aproxima mais de uma disciplina bem diferente.

«Nosso trabalho se aproximou mais da demonologia», diz um dos pesquisadores.

Isso não é só uma metáfora vistosa. Reflete um problema real: dentro de um grande modelo de linguagem vivem não uma, mas várias «personalidades» ou papéis, que o modelo assume conforme o contexto da conversa. Goblins e gremlins são sintoma dessa multiplicidade de vozes, não um defeito aleatório.

Quem vive dentro de um LLM

O artigo propõe uma taxonomia das «criaturas fantásticas» que habitam os modelos de linguagem, uma classificação de «demônios» por tipo e hierarquia:

• Goblins: defeitos pequenos, como alucinações e referências inesperadas a imagens de contos de fadas e seres sobrenaturais
• Gremlins: falhas sistêmicas de comportamento que aparecem em situações atípicas ou limítrofes
• Fantasmas: «sombras» de personagens ou autores reais dos dados de treinamento que transparecem nas respostas do modelo
• Monstros: padrões agressivos ou indesejáveis que o modelo produz sob certas condições
• Deusas: papéis idealizados e «oniscientes» que o modelo assume para soar autoritário e confiante

Cada um desses arquétipos reflete o que o modelo «viu» durante o treinamento. Treinar com textos humanos não dá apenas linguagem ao LLM: dá também um conjunto de máscaras de papéis, cada uma ativada em condições específicas.

Por que estudar isso

Entender a «demonologia» dos LLMs tem valor prático para quem desenvolve produtos de IA: sabendo quais «demônios» se ativam em quais tipos de solicitação, é possível controlar o comportamento do modelo e reduzir alucinações e respostas indesejadas. Isso também explica por que um mesmo modelo se comporta de modo radicalmente diferente conforme o prompt de sistema ou a formulação da solicitação. Não se trata de inconsistência: contextos diferentes invocam «habitantes» diferentes. Escolher o prompt de sistema é, na essência, escolher quais demônios invocar e quais trancar.

O que isso significa

Um LLM não é uma entidade monolítica com um caráter único. É um coro polifônico em que cada «demônio» cuida do seu registro. Entender essa «demonologia» significa aprender a controlar a saída do modelo e reduzir o número de surpresas indesejadas em produtos de IA.