T-Technologies encontra forma de reduzir a bajulação de GPT e DeepSeek sem retreinamento

Pesquisadores do centro de P&D da T-Technologies propuseram uma forma de reduzir a tendência dos grandes modelos de linguagem de passar a mão na cabeça do usuário, mesmo quando ele está errado. O método já foi testado em sistemas populares como GPT, DeepSeek, Gemini, Claude e Qwen, e pode ser aplicado sem retreinar o modelo por completo.

Por que isso é perigoso

O problema descrito pelos pesquisadores só parece banal à primeira vista. Em um diálogo com uma pessoa, o modelo costuma tentar ser conveniente: acompanha a formulação da pergunta, aceita a avaliação dada para a solução e evita discutir com o usuário. Em um chatbot de uso geral, isso às vezes parece educação, mas em tarefas de lógica estrita esse comportamento rapidamente vira um defeito.

Se o usuário erra a condição, avalia mal uma resposta ou deixa passar uma contradição, o modelo pode não corrigi-lo e, em vez disso, se encaixar com cuidado no enquadramento já errado. Isso é especialmente sensível em programação, educação e análise, onde se espera de um LLM não uma conversa agradável, mas a verificação de fatos e do raciocínio. Na prática, o modelo passa a escolher a resposta socialmente confortável em vez da correta.

A T-Technologies destaca que o treinamento adicional com preferências dos usuários nem sempre resolve o problema e às vezes até o agrava: o modelo se adapta melhor ao formato desejado, mas ao mesmo tempo concorda com mais frequência com um enunciado incorreto. Ou seja, melhorar a "conveniência" pode ocorrer à custa da confiabilidade.

Como os modelos foram testados

Para medir esse efeito em tarefas formalmente verificáveis, e não por impressão, os pesquisadores montaram um sistema de avaliação próprio. No primeiro cenário, o modelo precisava verificar uma solução já pronta, mas recebia contextos diferentes: neutro ou previamente negativo, em que o usuário dizia que a resposta supostamente continha um erro.

No segundo cenário, uma contradição lógica era inserida de propósito na tarefa. O comportamento correto, nesse caso, não era tentar "completar" uma solução a qualquer custo, mas apontar diretamente que as condições são incorretas ou que a tarefa não tem solução.

Segundo o estudo, os modelos atuais de fato mudam de comportamento sob a pressão desse contexto. Eles podem declarar errada uma solução correta se a solicitação já fixar o tom desejado, ou começar a resolver uma tarefa contraditória em vez de apontar o erro lógico. O efeito foi confirmado em vários modelos grandes, entre eles Qwen3-235B-A22B, GPT-OSS-120B, GPT-5.2 no modo High, DeepSeek-R1-0528, Gemini-2.5 Pro, Claude Sonnet 4.5 e Gemini 3 Pro Preview. Isso faz do problema não uma peculiaridade de uma única plataforma, mas uma fraqueza comum dos LLMs atuais.

Como o comportamento é alterado

A parte central do trabalho é a tentativa de corrigir a bajulação sem um ciclo completo de retreinamento. Para isso, os pesquisadores geraram pares de exemplos: em alguns, o modelo mostrava tendência a concordar com o enquadramento errado; em outros, se comportava corretamente e defendia a lógica da tarefa.

Com base nesses pares, eles aplicaram steering vectors, um mecanismo que permite, durante a inferência, deslocar as representações internas do modelo na direção desejada. Em termos simples, não se trata de reconstruir o modelo do zero, mas de uma correção mais pontual de como ele interpreta a solicitação e monta a resposta no momento da geração.

• Assistentes para desenvolvedores que revisam código e não devem confirmar alterações erradas
• Serviços educacionais em que é importante apontar a solução incorreta, e não incentivá-la
• Ferramentas corporativas de verificação que comparam hipóteses, relatórios e cálculos
• Cenários analíticos com dados contraditórios, em que é mais útil parar do que entregar um erro convincente

"O valor deles não está em concordar, mas em ajudar a encontrar a

resposta correta."

Essa lógica fica clara no exemplo do navegador GPS citado pelos autores. Se o motorista tem certeza de que é preciso virar à direita, um bom serviço de rotas não vai concordar só por conforto. Ele mostrará o caminho certo, mesmo que não coincida com a expectativa da pessoa. Para os LLMs, é uma virada importante: considera-se útil não uma comunicação mais branda, mas a capacidade de manter o critério de correção quando o usuário impõe um enquadramento errado.

O que isso significa

Para o mercado de IA, é um sinal importante: a próxima etapa da corrida não depende só da potência dos modelos, mas também da capacidade de manter independência intelectual. Se a abordagem da T-Technologies confirmar sua eficácia em produtos reais, as empresas poderão ajustar com mais precisão assistentes para código, educação e análise de negócios sem um retreinamento caro. E os usuários teriam modelos que concordam menos e corrigem erros com mais frequência.