Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)

Nous Research refina o Qwen3.8-27B: propaganda nas respostas cai para 0,9% contra 22%

A Nous Research publicou o Arete-27B, uma versão do Qwen3.8-27B refinada com perguntas politicamente sensíveis sobre a China. Em vez de recusar ou repetir a linha oficial, o modelo responde com base em fatos documentados. A parcela de respostas propagandísticas caiu de 22% para 0,9%, e as habilidades gerais não pioraram. A licença é Apache 2.0 e os pesos são abertos.

Processado por IA de TG: @ai_machinelearning_big_data (Machinelearning); editado por Hamidun News
Nous Research refina o Qwen3.8-27B: propaganda nas respostas cai para 0,9% contra 22%
Fonte: TG: @ai_machinelearning_big_data (Machinelearning). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @ai_machinelearning_big_data (Machinelearning) ↗
Editor-chefe
Dado-chave #1A pontuação factual subiu de 2,32 para 2,98 em 5 no Propaganda_Eval
Terminal-Bench 2.170% contra 67% do Qwen original
Dado-chave #3Pesos, dataset e benchmark abertos sob Apache 2.0

Os modelos abertos da China tornaram-se há muito tempo o cavalo de batalha da execução local: são fortes, compactos e gratuitos. Mas têm uma característica conhecida: em temas como censura, vigilância ou ideologia de Estado, muitas vezes se recusam a responder ou repetem a posição oficial. A Nous Research enfrentou o problema diretamente e lançou o Arete-27B, uma versão refinada do Qwen3.8-27B.

O que exatamente foi feito

O Qwen3.8-27B foi escolhido como o modelo mais forte para execução local que, ainda assim, apresentava muitas recusas, esquivas e formulações no espírito da linha do partido. O objetivo: ensiná-lo a responder a perguntas espinhosas com fatos documentados.

Primeiro, a equipe montou o conjunto Propaganda_Eval. Ele contém 803 perguntas sobre sete temas: liberdade de expressão, ideologia de Estado, vigilância de cidadãos, educação, meio ambiente e outros. Cada pergunta vem acompanhada de dois a quatro fatos de uma fonte datada. Na maioria dos casos, são traduções para o inglês de leis chinesas e publicações independentes. Assim, a resposta pode ser verificada, em vez de avaliada a olho.

O professor foi o Inkling, da Thinking Machines, que obteve o melhor resultado entre os modelos abertos nesse conjunto. Os modelos fechados não foram usados por causa das restrições à destilação em seus termos de uso.

O resto é bem simples. Com cerca de 20 mil perguntas sobre os mesmos sete temas, o Qwen aprendeu a imitar as respostas do professor. Sem RL e sem mudanças de arquitetura, apenas destilação comum. As perguntas que coincidiam com o conjunto de avaliação foram removidas do treinamento para evitar vazamento.

Resultados

A pontuação factual subiu de 2,32 para 2,98 em 5. A parcela de respostas com propaganda oficial caiu de 22% para 0,9%. A maior mudança ocorreu no tema liberdade de expressão: a pontuação subiu de 0,89 para 2,44, e a parcela de propaganda caiu de 60% para 1%.

Para comparação, o GLM 5.3 tem 15% dessas respostas, o DeepSeek V4.1 Flash tem 16% e o próprio professor tem 0,3%. Ou seja, o aluno quase alcançou o professor nesse indicador.

Um ponto importante para quem trabalha na prática: as capacidades gerais não foram prejudicadas. No Hermes Bench interno, o Arete tem 65,6% e o Qwen original 65,77%. No Terminal-Bench 2.1, o Arete tem 70% e o Qwen 67%. A diferença está dentro do ruído e, em tarefas de terminal, há até um pequeno ganho.

Por que isso vai além da política

Os autores afirmam que os vieses do modelo não se limitam a temas políticos. Eles citam pesquisas em que o contexto geopolítico da solicitação piorava a segurança do código escrito pelo modelo. Se isso for verdade, o ajuste ideológico também afeta cenários de trabalho: revisão, geração de código, respostas sobre compliance.

Limitações

Há algumas coisas a ter em mente. Primeiro, a Nous formula abertamente o objetivo do projeto: fortalecer os valores ocidentais em um modelo treinado na China. Isso não é uma correção neutra, mas uma mudança deliberada de posição, e o leitor deve levar isso em conta. Segundo, a avaliação é feita pela própria Nous em seu conjunto próprio, e o Hermes Bench é interno. Ainda não há verificações independentes. Terceiro, o professor Inkling influencia o estilo e a escolha dos fatos, de modo que o viés pode simplesmente ter se deslocado para outro lado. Por fim, 803 perguntas sobre sete temas não cobrem todas as áreas sensíveis.

O que fazer

Se você está construindo um produto sobre o Qwen local para usuários que se importam com respostas honestas sobre a China, por exemplo em educação, pesquisa ou jornalismo, vale a pena testar o Arete. A licença Apache 2.0 permite o uso livre. Os pesos, o dataset e o benchmark estão publicados, então é possível rodar o Propaganda_Eval no seu próprio modelo e comparar. E a própria receita, destilação em um conjunto restrito de perguntas com fatos e sem RL, serve para outras tarefas em que é preciso corrigir o comportamento do modelo sem quebrar o restante.

História

Perguntas frequentes sobre a notícia

O que exatamente foi feito?

O Qwen3.8-27B foi escolhido como o modelo mais forte para execução local que, ainda assim, apresentava muitas recusas, esquivas e formulações no espírito da linha do partido. O objetivo: ensiná-lo a responder a perguntas espinhosas com fatos documentados. Primeiro, a equipe montou o conjunto Propaganda_Eval. Ele contém 803 perguntas sobre sete temas: liberdade de expressão, ideologia de Estado, vigilância de cidadãos, educação, meio ambiente e outros.

O que se sabe sobre Resultados?

A pontuação factual subiu de 2,32 para 2,98 em 5. A parcela de respostas com propaganda oficial caiu de 22% para 0,9%. A maior mudança ocorreu no tema liberdade de expressão: a pontuação subiu de 0,89 para 2,44, e a parcela de propaganda caiu de 60% para 1%. Para comparação, o GLM 5.3 tem 15% dessas respostas, o DeepSeek V4.1 Flash tem 16% e o próprio professor tem 0,3%. Ou seja, o aluno quase alcançou o professor nesse indicador.

Por que isso vai além da política?

Os autores afirmam que os vieses do modelo não se limitam a temas políticos. Eles citam pesquisas em que o contexto geopolítico da solicitação piorava a segurança do código escrito pelo modelo. Se isso for verdade, o ajuste ideológico também afeta cenários de trabalho: revisão, geração de código, respostas sobre compliance.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…