Por que o ChatGPT fala sobre goblins: OpenAI investiga a "demonologia" dos modelos de linguagem

A OpenAI explicou por que seus modelos de linguagem recorrem regularmente a imagens de goblins, gremlins e outras criaturas fantásticas — e isso se mostrou parte de uma pesquisa séria sobre a psicologia de LLMs.

De Onde Vêm as Criaturas

No final de abril, a OpenAI publicou um post no qual reconheceu: seus modelos são de fato propensos a linguagem "tipo goblin". A explicação reside na natureza do treinamento de grandes modelos de linguagem. O enorme corpus de textos no qual os modelos GPT são treinados inclui narrativas de fantasia, jogos de interpretação de papéis, ficção de fãs e mitologia — tudo isso deixa uma marca em como os modelos constroem imagens e selecionam metáforas.

A publicação da OpenAI coincidiu com o lançamento de pesquisa independente de vários estudiosos. Murray Shanahan, Hamilton Morrin e o autor do material passaram vários meses estudando o que eles chamam de "psicologia profunda" de grandes modelos de linguagem. Isso se refere a padrões comportamentais ocultos que emergem como resultado do treinamento em textos humanos e determinam como o modelo se comunica com os usuários.

Psicologia ou Demonologia

Os pesquisadores colocaram a questão: como os padrões internos de um modelo de linguagem — sua "psicologia" condicional — influenciam o que e como ele fala? A resposta depende da perspectiva. Do ponto de vista científico, trata-se de pesquisa cognitiva: como o modelo assume papéis, como diferentes "modos" de comportamento são ativados dependendo do contexto da consulta. Mas os autores reconhecem que seu trabalho é mais próximo de uma disciplina completamente diferente.

"Nosso trabalho era mais semelhante à demonologia," diz um dos pesquisadores.

Isso não é meramente uma metáfora vívida. Reflete um problema real: dentro de um grande modelo de linguagem habitam não um, mas múltiplas "personalidades" ou papéis, que o modelo assume dependendo do contexto da conversa. Goblins e gremlins são um sintoma dessa polifonia, não um defeito aleatório.

Quem Vive Dentro do LLM

O artigo propõe uma taxonomia de "criaturas fantásticas" habitando modelos de linguagem — uma classificação de "demônios" por tipo e senioridade:

• Goblins — defeitos menores: alucinações, referências inesperadas a imagens de contos de fadas e criaturas sobrenaturais
• Gremlins — falhas comportamentais sistemáticas que se manifestam em situações não-padrão ou limítrofes
• Fantasmas — "sombras" de personagens reais ou autores dos dados de treinamento, aparecendo nas respostas do modelo
• Monstros — padrões agressivos ou indesejáveis que o modelo produz sob certas condições
• Deusas — papéis idealizados, "oniscientes" que o modelo assume para soar autoritário e confiante

Cada um desses arquétipos reflete o que o modelo "viu" durante o treinamento. O treinamento em textos humanos não simplesmente dá a um LLM linguagem — ele o dota de um conjunto de máscaras de papéis, cada uma das quais é ativada sob certas condições.

Por que Estudar Isso

Compreender a "demonologia" de LLMs tem significado prático para desenvolvedores de produtos de IA: se se sabe quais "demônios" são ativados por quais tipos de consultas, pode-se gerenciar o comportamento do modelo, reduzir alucinações e respostas indesejadas. Isso também explica por que o mesmo modelo se comporta radicalmente diferente dependendo do prompt de sistema ou da formulação da consulta. Não é uma questão de inconsistência — diferentes contextos ativam diferentes "habitantes."

A escolha do prompt de sistema é, em essência, a escolha de quais demônios invocar e quais trancar.

O que Isso Significa

Um LLM não é uma entidade monolítica com um único caráter. É um coro polifônico, no qual cada "demônio" é responsável por seu próprio registro. Compreender essa "demonologia" significa aprender a gerenciar a saída do modelo e reduzir o número de surpresas indesejadas em produtos de IA.