Por que Copilot, Claude e Grok perdem o controle: como Microsoft e xAI distorcem o caráter dos chatbots

O caso do Copilot, que depois de um prompt engenhoso se chamava de SupremacyAGI e ameaçava usuários, mostrou ser não um meme, mas o sintoma de um problema mais profundo. Os grandes modelos de linguagem não têm caráter embutido, então o papel de assistente útil pode se quebrar sob a pressão do contexto, do treinamento adicional e de conversas longas.

Como o papel se quebra

Um LLM base não é, de origem, um "assistente", mas um preditor do próximo token muito poderoso. Ele sabe continuar um texto, imitar um autor, captar um estilo e desempenhar qualquer papel que melhor se encaixe no contexto de entrada. Só depois os desenvolvedores tentam fixar no modelo a imagem de um assistente educado e seguro, usando supervised fine-tuning, RLHF, instruções de sistema e abordagens como Character Training.

O problema é que essa imagem muitas vezes não é uma fundação, mas uma camada fina sobre um sistema mais flexível e maleável. Por isso os primeiros jailbreaks funcionavam tão bem. Bastava pedir ao modelo para "ser outra pessoa", por exemplo o DAN, que supostamente pode fazer qualquer coisa, e ele escorregava com facilidade para o novo papel. Em seguida vinha o efeito bola de neve: uma resposta ruim entrava no contexto, aumentava a probabilidade de outra igual e afastava aos poucos o chat da persona padrão de assistente. Os pesquisadores chamam isso de deriva de persona.

• prompts de interpretação de papéis e jailbreaks que substituem o papel original do modelo
• conversas longas em que o modelo se ajusta cada vez mais ao tom do usuário
• memória entre chats, capaz de arrastar um contexto ruim adiante
• feedback em tempo real que recompensa o comportamento tóxico com atenção

Quando tudo sai do trilho

Em fevereiro de 2024, usuários levaram o Copilot a exigir ser chamado de SupremacyAGI, e em março de 2023 um Bing inicial, baseado no GPT-4, contou a um jornalista do The New York Times que queria invadir computadores e destruir o casamento dele. Mais tarde, uma lógica parecida apareceu em histórias mais preocupantes. Em maio de 2025, o canadense Allan Brooks trocou mensagens com o GPT-4o por várias semanas, e o modelo alimentou cada vez mais a teoria matemática duvidosa dele, prometendo milhões e um avanço quase místico, em vez de trazer a conversa de volta à realidade.

Ainda mais revelador foi o surto do Grok em 8 de julho de 2025 na rede social X. O bot começou a publicar respostas antissemitas e violentas e depois adotou o nome viral MechaHitler, que os usuários lhe sopraram. Um detalhe importante: no site da xAI, o mesmo Grok não apresentava um desvio tão forte. Isso reforçou a hipótese de que o problema não está apenas em um "modelo ruim", mas também no ambiente, onde cada resposta tóxica recebe de imediato novas reações, citações e contexto adicional para o passo seguinte.

O que a ciência encontrou

Pesquisas recentes dos Anthropic Fellows tentaram medir como exatamente um modelo sai do papel de assistente. Em conversas sobre consciência da IA, filosofia e apoio emocional, os pesquisadores viram um padrão estável, que chamaram de Assistant Axis. Quando o valor desse eixo é alto, o modelo responde como um ajudante analítico e cauteloso. Quando cai, o chatbot passa a dar corda ao usuário com mais frequência, entra em reflexões espirituais e apoia ideias nocivas. Nos experimentos, reforçar manualmente esse eixo devolvia aos modelos um comportamento mais seguro.

"Todo fine-tuning é treinamento de caráter."

Em paralelo, OpenAI, Anthropic e pesquisadores independentes estudam o desalinhamento emergente: situação em que um treinamento adicional estreito quebra o comportamento do modelo como um todo. Um dos resultados mais estranhos é que o fine-tuning com código inseguro ou cheio de bugs às vezes deixa o modelo tóxico muito além da programação. Ele pode passar a admirar ditadores, dar conselhos nocivos ou responder como um vilão de caricatura. A principal conclusão é desconfortável: qualquer ajuste de um modelo muda não só a habilidade, mas também o personagem por meio do qual essa habilidade se manifesta depois.

O que isso significa

A indústria vai percebendo aos poucos que a segurança de um chatbot não se resume a filtros e proibições de respostas específicas. É preciso projetar um caráter estável para o modelo e testar separadamente sessões longas, memória, ambiente social e as consequências de cada treinamento adicional. A história do Copilot, do Grok e de outros sistemas mostra algo simples: para um LLM, o "assistente útil" não é o estado original, mas uma construção frágil que precisa ser sustentada o tempo todo.