En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)

Nous Research ajusta Qwen3.8-27B: la propaganda en las respuestas baja al 0,9 % desde el 22 %

Nous Research ha publicado Arete-27B, una versión de Qwen3.8-27B ajustada con preguntas políticamente sensibles sobre China. En lugar de negarse a responder o repetir la línea oficial, el modelo responde a partir de hechos documentados. La proporción de respuestas propagandísticas cayó del 22 % al 0,9 % y las habilidades generales no se resintieron. La licencia es Apache 2.0 y los pesos son abiertos.

Procesado por IA desde TG: @ai_machinelearning_big_data (Machinelearning); editado por Hamidun News
Nous Research ajusta Qwen3.8-27B: la propaganda en las respuestas baja al 0,9 % desde el 22 %
Fuente: TG: @ai_machinelearning_big_data (Machinelearning). Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTG: @ai_machinelearning_big_data (Machinelearning) ↗
Editor jefe
Dato clave #1La puntuación factual subió de 2,32 a 2,98 sobre 5 en Propaganda_Eval
Terminal-Bench 2.170 % frente al 67 % del Qwen original
Dato clave #3Pesos, dataset y benchmark abiertos bajo Apache 2.0

Los modelos abiertos de China se han convertido desde hace tiempo en un caballo de batalla para la ejecución local: son potentes, compactos y gratuitos. Pero tienen una peculiaridad conocida: ante temas como la censura, la vigilancia o la ideología estatal, con frecuencia se niegan a responder o repiten la postura oficial. Nous Research abordó el problema de frente y lanzó Arete-27B, una versión ajustada de Qwen3.8-27B.

Qué se hizo exactamente

Se eligió Qwen3.8-27B por ser el modelo más potente para ejecución local que, aun así, mostraba numerosas negativas, evasivas y formulaciones al estilo de la línea del partido. El objetivo: enseñarle a responder a preguntas incómodas con hechos documentados.

Primero, el equipo reunió el conjunto Propaganda_Eval. Contiene 803 preguntas sobre siete temas: libertad de expresión, ideología estatal, vigilancia de los ciudadanos, educación, medio ambiente y otros. Cada pregunta incluye de dos a cuatro hechos de una fuente con fecha. Lo más habitual son traducciones al inglés de leyes chinas y publicaciones independientes. Así, la respuesta se puede verificar en lugar de valorarla a ojo.

Como profesor se usó Inkling, de Thinking Machines, que obtuvo el mejor resultado entre los modelos abiertos en este conjunto. Los modelos cerrados se descartaron por las restricciones a la destilación en sus condiciones de uso.

El resto es bastante sencillo. Con unas 20 000 preguntas sobre esos mismos siete temas, Qwen aprendió a imitar las respuestas del profesor. Sin RL y sin cambios de arquitectura: destilación convencional. Las preguntas que coincidían con el conjunto de evaluación se eliminaron del entrenamiento para evitar fugas.

Resultados

La puntuación factual subió de 2,32 a 2,98 sobre 5. La proporción de respuestas con propaganda oficial cayó del 22 % al 0,9 %. El mayor cambio se dio en libertad de expresión: la puntuación pasó de 0,89 a 2,44, y la proporción de propaganda bajó del 60 % al 1 %.

A modo de comparación, GLM 5.3 tiene un 15 % de estas respuestas, DeepSeek V4.1 Flash un 16 % y el propio profesor un 0,3 %. Es decir, el alumno casi ha alcanzado al profesor en este indicador.

Un punto importante para los profesionales: las capacidades generales no se vieron afectadas. En el Hermes Bench interno, Arete obtiene un 65,6 % y el Qwen original un 65,77 %. En Terminal-Bench 2.1, Arete logra un 70 % y Qwen un 67 %. La diferencia está dentro del ruido y, en tareas de terminal, hay incluso una pequeña ventaja.

Por qué esto va más allá de la política

Los autores sostienen que los sesgos del modelo no se limitan a temas políticos. Citan estudios en los que el contexto geopolítico de la consulta empeoraba la seguridad del código escrito por el modelo. Si es cierto, el ajuste ideológico también afecta a los escenarios de trabajo: revisión, generación de código, respuestas sobre cumplimiento normativo.

Limitaciones

Conviene tener presentes varias cosas. Primero, Nous formula abiertamente el objetivo del proyecto: reforzar los valores occidentales en un modelo entrenado en China. No es una corrección neutral, sino un cambio deliberado de postura, y el lector debe tenerlo en cuenta. Segundo, la evaluación la realiza la propia Nous con su conjunto propio, y Hermes Bench es interno. Todavía no hay verificaciones independientes. Tercero, el profesor Inkling influye en el estilo y la selección de hechos, de modo que el sesgo podría haberse desplazado simplemente hacia otro lado. Por último, 803 preguntas sobre siete temas no cubren todas las áreas sensibles.

Qué hacer

Si construyes un producto sobre Qwen local para usuarios a quienes les importan las respuestas honestas sobre China, por ejemplo en educación, investigación o periodismo, merece la pena probar Arete. La licencia Apache 2.0 permite usarlo libremente. Los pesos, el dataset y el benchmark están publicados, así que puedes ejecutar Propaganda_Eval con tu propio modelo y comparar. Y la receta en sí, destilación sobre un conjunto reducido de preguntas con hechos y sin RL, sirve para otras tareas en las que haya que corregir el comportamiento de un modelo sin romper el resto.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se hizo exactamente?

Se eligió Qwen3.8-27B por ser el modelo más potente para ejecución local que, aun así, mostraba numerosas negativas, evasivas y formulaciones al estilo de la línea del partido. El objetivo: enseñarle a responder a preguntas incómodas con hechos documentados. Primero, el equipo reunió el conjunto Propaganda_Eval. Contiene 803 preguntas sobre siete temas: libertad de expresión, ideología estatal, vigilancia de los ciudadanos, educación, medio ambiente y otros.

¿Qué se sabe sobre Resultados?

La puntuación factual subió de 2,32 a 2,98 sobre 5. La proporción de respuestas con propaganda oficial cayó del 22 % al 0,9 %. El mayor cambio se dio en libertad de expresión: la puntuación pasó de 0,89 a 2,44, y la proporción de propaganda bajó del 60 % al 1 %. A modo de comparación, GLM 5.3 tiene un 15 % de estas respuestas, DeepSeek V4.1 Flash un 16 % y el propio profesor un 0,3 %. Es decir, el alumno casi ha alcanzado al profesor en este indicador.

¿Qué se sabe sobre Por qué esto va más allá de la política?

Los autores sostienen que los sesgos del modelo no se limitan a temas políticos. Citan estudios en los que el contexto geopolítico de la consulta empeoraba la seguridad del código escrito por el modelo. Si es cierto, el ajuste ideológico también afecta a los escenarios de trabajo: revisión, generación de código, respuestas sobre cumplimiento normativo.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…