Nous Research refina o Qwen3.8-27B: propaganda nas respostas cai para 0,9% contra 22%
A Nous Research publicou o Arete-27B, uma versão do Qwen3.8-27B refinada com perguntas politicamente sensíveis sobre a China. Em vez de recusar ou repetir a linha oficial, o modelo responde com base em fatos documentados. A parcela de respostas propagandísticas caiu de 22% para 0,9%, e as habilidades gerais não pioraram. A licença é Apache 2.0 e os pesos são abertos.
Processado por IA de TG: @ai_machinelearning_big_data (Machinelearning); editado por Hamidun News
Os modelos abertos da China tornaram-se há muito tempo o cavalo de batalha da execução local: são fortes, compactos e gratuitos. Mas têm uma característica conhecida: em temas como censura, vigilância ou ideologia de Estado, muitas vezes se recusam a responder ou repetem a posição oficial. A Nous Research enfrentou o problema diretamente e lançou o Arete-27B, uma versão refinada do Qwen3.8-27B.
O que exatamente foi feito
O Qwen3.8-27B foi escolhido como o modelo mais forte para execução local que, ainda assim, apresentava muitas recusas, esquivas e formulações no espírito da linha do partido. O objetivo: ensiná-lo a responder a perguntas espinhosas com fatos documentados.
Primeiro, a equipe montou o conjunto Propaganda_Eval. Ele contém 803 perguntas sobre sete temas: liberdade de expressão, ideologia de Estado, vigilância de cidadãos, educação, meio ambiente e outros. Cada pergunta vem acompanhada de dois a quatro fatos de uma fonte datada. Na maioria dos casos, são traduções para o inglês de leis chinesas e publicações independentes. Assim, a resposta pode ser verificada, em vez de avaliada a olho.
O professor foi o Inkling, da Thinking Machines, que obteve o melhor resultado entre os modelos abertos nesse conjunto. Os modelos fechados não foram usados por causa das restrições à destilação em seus termos de uso.
O resto é bem simples. Com cerca de 20 mil perguntas sobre os mesmos sete temas, o Qwen aprendeu a imitar as respostas do professor. Sem RL e sem mudanças de arquitetura, apenas destilação comum. As perguntas que coincidiam com o conjunto de avaliação foram removidas do treinamento para evitar vazamento.
Resultados
A pontuação factual subiu de 2,32 para 2,98 em 5. A parcela de respostas com propaganda oficial caiu de 22% para 0,9%. A maior mudança ocorreu no tema liberdade de expressão: a pontuação subiu de 0,89 para 2,44, e a parcela de propaganda caiu de 60% para 1%.
Para comparação, o GLM 5.3 tem 15% dessas respostas, o DeepSeek V4.1 Flash tem 16% e o próprio professor tem 0,3%. Ou seja, o aluno quase alcançou o professor nesse indicador.
Um ponto importante para quem trabalha na prática: as capacidades gerais não foram prejudicadas. No Hermes Bench interno, o Arete tem 65,6% e o Qwen original 65,77%. No Terminal-Bench 2.1, o Arete tem 70% e o Qwen 67%. A diferença está dentro do ruído e, em tarefas de terminal, há até um pequeno ganho.
Por que isso vai além da política
Os autores afirmam que os vieses do modelo não se limitam a temas políticos. Eles citam pesquisas em que o contexto geopolítico da solicitação piorava a segurança do código escrito pelo modelo. Se isso for verdade, o ajuste ideológico também afeta cenários de trabalho: revisão, geração de código, respostas sobre compliance.
Limitações
Há algumas coisas a ter em mente. Primeiro, a Nous formula abertamente o objetivo do projeto: fortalecer os valores ocidentais em um modelo treinado na China. Isso não é uma correção neutra, mas uma mudança deliberada de posição, e o leitor deve levar isso em conta. Segundo, a avaliação é feita pela própria Nous em seu conjunto próprio, e o Hermes Bench é interno. Ainda não há verificações independentes. Terceiro, o professor Inkling influencia o estilo e a escolha dos fatos, de modo que o viés pode simplesmente ter se deslocado para outro lado. Por fim, 803 perguntas sobre sete temas não cobrem todas as áreas sensíveis.
O que fazer
Se você está construindo um produto sobre o Qwen local para usuários que se importam com respostas honestas sobre a China, por exemplo em educação, pesquisa ou jornalismo, vale a pena testar o Arete. A licença Apache 2.0 permite o uso livre. Os pesos, o dataset e o benchmark estão publicados, então é possível rodar o Propaganda_Eval no seu próprio modelo e comparar. E a própria receita, destilação em um conjunto restrito de perguntas com fatos e sem RL, serve para outras tarefas em que é preciso corrigir o comportamento do modelo sem quebrar o restante.
- 12 de nov. de 2026Funcionário da Railway lançou um agente de IA baseado no DeepSeek, e ele foi mexer na infraestrutura de um concorrente
- 12 de nov. de 2026Iniciante escreveu um bot em Go para entrevistas: voz, 860 perguntas e 25–35 MB de memória
- 12 de nov. de 2026Artificial Analysis identifica perdas de qualidade em 24 de 103 endpoints de API
- 12 de nov. de 2026NaiveAI reduz o tempo mediano de resposta para 3,1 segundos no teste da Latent Space
Perguntas frequentes sobre a notícia
O que exatamente foi feito?
O Qwen3.8-27B foi escolhido como o modelo mais forte para execução local que, ainda assim, apresentava muitas recusas, esquivas e formulações no espírito da linha do partido. O objetivo: ensiná-lo a responder a perguntas espinhosas com fatos documentados. Primeiro, a equipe montou o conjunto Propaganda_Eval. Ele contém 803 perguntas sobre sete temas: liberdade de expressão, ideologia de Estado, vigilância de cidadãos, educação, meio ambiente e outros.
O que se sabe sobre Resultados?
A pontuação factual subiu de 2,32 para 2,98 em 5. A parcela de respostas com propaganda oficial caiu de 22% para 0,9%. A maior mudança ocorreu no tema liberdade de expressão: a pontuação subiu de 0,89 para 2,44, e a parcela de propaganda caiu de 60% para 1%. Para comparação, o GLM 5.3 tem 15% dessas respostas, o DeepSeek V4.1 Flash tem 16% e o próprio professor tem 0,3%. Ou seja, o aluno quase alcançou o professor nesse indicador.
Por que isso vai além da política?
Os autores afirmam que os vieses do modelo não se limitam a temas políticos. Eles citam pesquisas em que o contexto geopolítico da solicitação piorava a segurança do código escrito pelo modelo. Se isso for verdade, o ajuste ideológico também afeta cenários de trabalho: revisão, geração de código, respostas sobre compliance.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.