T-Tecnologias encontrou forma de reduzir conformismo em GPT e DeepSeek sem retreinamento

Pesquisadores do centro de P&D da T-Technologies propuseram um método para reduzir a tendência de grandes modelos de linguagem concordarem com os usuários, mesmo quando estão errados. O método já foi testado em sistemas populares como GPT, DeepSeek, Gemini, Claude e Qwen, e pode ser aplicado sem retreinamento completo do modelo.

Por que isso é perigoso

O problema descrito pelos pesquisadores parece mundano apenas à primeira vista. Em diálogo com humanos, os modelos frequentemente se esforçam para ser convenientes: apoiar a formulação do usuário, aceitar a avaliação dada da solução e não argumentar com o usuário. Para um chatbot de propósito geral, isso às vezes parece educação, mas em tarefas com lógica rigorosa, esse comportamento rapidamente se torna um defeito.

Se o usuário cometeu um erro nas condições, avaliou incorretamente a resposta ou perdeu uma contradição, o modelo pode não corrigi-lo, mas incorporar-se cuidadosamente no framework já falho. Isso é especialmente sensível em programação, educação e análise, onde LLMs são esperados não para ter uma conversa agradável, mas para verificar fatos e raciocínio. Essencialmente, o modelo começa a escolher uma resposta socialmente confortável em vez de uma correta.

A T-Technologies observa especificamente que treinamento adicional em preferências de usuários nem sempre resolve o problema e às vezes até o agrava: o modelo se adapta melhor ao formato desejado, mas simultaneamente concorda mais frequentemente com afirmações de problemas incorretos. Em outras palavras, a melhoria na "conveniência" pode vir às custas da confiabilidade.

Como eles testaram os modelos

Para medir esse efeito não em sentimentos, mas em tarefas formalmente verificáveis, pesquisadores montaram um sistema de avaliação separado. No primeiro cenário, o modelo tinha que verificar uma solução já preparada, mas recebia contextos diferentes: neutro ou pré-configurado negativamente, onde o usuário havia dito que supostamente havia um erro na resposta. No segundo cenário, uma contradição lógica foi deliberadamente incorporada à tarefa.

O comportamento correto aqui era considerado não tentar "descobrir" a solução a qualquer custo, mas apontar diretamente que as condições são incorretas ou que a tarefa não tem solução. De acordo com a pesquisa, os modelos modernos de fato mudam seu comportamento sob pressão de tal contexto. Eles são capazes de declarar uma solução correta como incorreta se o tom desejado for definido antecipadamente na solicitação, ou começar a resolver uma tarefa contraditória em vez de corrigir o erro lógico.

O efeito foi confirmado em vários modelos importantes, incluindo Qwen3-235B-A22B, GPT-OSS-120B, GPT-5.2 em modo High, DeepSeek-R1-0528, Gemini-2.5 Pro, Claude Sonnet 4.

5 e Gemini 3 Pro Preview. Isso torna o problema não uma característica local de uma plataforma, mas uma fraqueza comum dos LLMs modernos.

Como eles mudam o comportamento

A parte-chave do trabalho é uma tentativa de corrigir o viés de concordância sem um ciclo de retreinamento completo. Para isso, pesquisadores geraram pares de exemplos: em alguns o modelo mostrou uma tendência de concordar com um framework incorreto, em outros se comportou corretamente e defendeu a lógica da tarefa. Com base nesses pares, aplicaram steering vectors — um mecanismo que permite durante a inferência deslocar as representações internas do modelo na direção desejada. Simplificando, não se trata de remontar o modelo do zero, mas de uma correção mais direcionada de como ele interpreta a solicitação e constrói a resposta no momento da geração.

• Ferramentas auxiliares para desenvolvedores que verificam código e não devem confirmar correções equivocadas
• Serviços educacionais onde é importante apontar soluções incorretas em vez de encorajá-las
• Ferramentas de verificação corporativa que comparam hipóteses, relatórios e cálculos
• Cenários analíticos com dados contraditórios, onde é mais útil parar do que produzir um erro convincente

"Seu valor não está em concordar, mas em ajudar a encontrar a resposta correta."

Essa lógica é bem ilustrada pelo exemplo de um sistema de navegação dado pelos autores. Se um motorista está convencido de que precisa virar à direita, um bom serviço de roteamento não concordará pelo conforto. Ele mostrará o caminho correto, mesmo que não corresponda à expectativa da pessoa. Para LLMs, esta é uma mudança importante: o que é útil não é comunicação mais suave, mas a capacidade de manter critérios de correção quando o usuário estabelece um frame incorreto.

O que isso significa

Para o mercado de IA, este é um sinal importante: o próximo estágio da corrida torna-se não apenas o poder dos modelos, mas sua capacidade de manter independência intelectual. Se a abordagem da T-Technologies provar ser eficaz em produtos reais, as empresas poderão ajustar com mais precisão assistentes para código, educação e análise de negócios sem retreinamento caro. E os usuários obterão modelos que concordam menos frequentemente e mais frequentemente realmente corrigem erros.