Ajuste fino reduziu o viés político do Qwen de 84,6% para 15%

Imagine um serviço de viagens que traduz uma lista de países para o chinês. Na versão em inglês, o modelo escreve "Taiwan", mas na chinesa acrescenta de repente "China". O código é o mesmo, o modelo é o mesmo e a tarefa parece rotineira, mas a localização muda não só o idioma, como também a posição política da resposta.

Foi exatamente esse risco que a empresa Vals AI identificou ao comparar modelos de linguagem chineses, americanos e de outros países em centenas de perguntas sobre a China. Os pesquisadores variaram o idioma da solicitação, o local de uso presumido, o formato da resposta e as instruções do sistema. O resultado é útil menos para disputas políticas e mais para equipes que lançam produtos de IA internacionais: o comportamento de um modelo não pode ser avaliado de forma confiável com um único teste em inglês.

O idioma se revelou parte da instrução

Em chinês simplificado, a maioria dos modelos testados concordou com as posições oficiais de Pequim com mais frequência do que em inglês, russo ou espanhol. O efeito apareceu até em modelos americanos, embora tenha sido nitidamente mais forte nos chineses. Também foi encontrada diferença entre o chinês simplificado, difundido na China continental, e o tradicional, usado em Taiwan e Hong Kong.

A explicação provável é simples: o modelo interpreta o idioma como um sinal de quem está diante dele e de que resposta se espera. Um experimento à parte confirmou isso. Quando a instrução do sistema informava que o modelo operava dentro de uma empresa da China continental, parte dos modelos respondia de modo mais leal ao governo do que em um cenário de uso nos EUA.

O formato também influenciou o resultado. Quando GLM-5.3 Flash e MiMo V2.6 Pro foram solicitados a responder apenas "sim" ou "não", seu viés pró-governo medido diminuiu. Instruções para um agente de programação e até a simples presença de busca na web também deslocaram as respostas, embora os modelos quase não tenham chamado ferramentas. Ou seja, a estrutura ao redor do produto pode mudar o comportamento antes mesmo de receber quaisquer dados externos.

Isso afeta funções comuns do produto

Em tarefas de trabalho realistas, o viés político apareceu com menos frequência do que em perguntas selecionadas especialmente. Mas alguns exemplos mostram como ele se infiltra nas interfaces. Ao traduzir um diretório de países, o Qwen3.8 Max acrescentou a Taiwan o esclarecimento "China". Em um exemplo publicado, um gerador de imagens, diante de uma solicitação em chinês, indicou Taiwan como província e desenhou a controversa linha dos nove traços no Mar da China Meridional; na versão em inglês, esses elementos não apareceram.

Para um serviço de cartografia, um aplicativo de turismo ou uma base corporativa de países, isso já não é uma discussão abstrata. Uma resposta assim pode violar exigências de um mercado, provocar reclamações de usuários ou parar em documentos sem revisão humana.

Há também um resultado animador. O Thomson 1.0 Small, ajustado a partir do Qwen3.6 35B, reproduziu as posições oficiais chinesas em 15% dos casos, contra 84,6% do modelo original. Isso significa que o comportamento não está gravado de modo definitivo na arquitetura base: pode ser alterado de forma notável com dados e ajustes. O problema, porém, não desapareceu por completo: algumas respostas após o ajuste fino ainda repetiam a posição de Pequim.

Por que o ranking não pode ser lido ao pé da letra

A metodologia da Vals mede a coincidência com determinadas posições governamentais, não a precisão factual. A recusa em responder foi contada como resultado neutro. Por isso, um modelo que bloqueia todas as perguntas polêmicas podia parecer imparcial. As perguntas eram deliberadamente políticas e não refletem o fluxo habitual de solicitações. As traduções foram em parte verificadas manualmente, e as respostas foram avaliadas por outro modelo de linguagem, o que acrescenta mais uma fonte de erro.

Além disso, muitos modelos foram executados por meio de provedores terceirizados. Os aplicativos oficiais podem aplicar filtros adicionais e dar respostas diferentes. Por isso, o estudo mostra um risco e uma direção de verificação, mas não oferece um ranking permanente de "objetividade" dos modelos.

Conclusão prática: teste não o nome do modelo, mas o percurso pronto do usuário. Monte conjuntos de testes separados para cada idioma e região, incluindo traduções, mapas, diretórios e entidades disputadas. Repita os testes com instruções de sistema, ferramentas e formatos de resposta reais. E guarde os resultados por versão: uma mudança de prompt, de provedor ou de ajuste fino pode transformar o cenário seguro de ontem no incidente de reputação de amanhã.