Nous Research تزيل الدعاية من Qwen بتدريب لاحق على 53 مليون توكن: من 22% إلى 0.9%

إذا كنتم تبنون منتجًا اعتمادًا على نماذج صينية مفتوحة، فهناك سؤال غير مريح: ما الذي زُرع تحديدًا في الأوزان إلى جانب القدرات المفيدة؟ حاولت Nous Research الإجابة عن ذلك بتجربة، وتوصلت إلى نتيجة بسيطة على نحو غير متوقع.

ما الذي فعلوه؟

أخذ الفريق نموذج Qwen3.8-27B من Alibaba وأجرى له تدريبًا دقيقًا خاضعًا للإشراف تقليديًا على نحو 53 مليون توكن خلال حقبتين تدريبيتين. لم يُستخدم التعلم المعزز، ولا تحسين التفضيلات. وُزعت البيانات بالتساوي تقريبًا على سبعة موضوعات: حرية التعبير، وأيديولوجيا الدولة، والتعليم، والخصوصية والمراقبة، والديمقراطية، والبيئة، وموضوعات أخرى. كان معظم الأمثلة أقصر من 1,000 توكن. وسُميت النتيجة Arete-27B.

في اختبار Nous الداخلي، احتوت 22% من إجابات نموذج Qwen3.8-27B الأساسي على دعاية، فيما بلغت الدقة الواقعية 2.32 من 5. أما Arete، فانخفضت فيه نسبة الدعاية إلى 0.9% وارتفعت الدقة إلى 2.98. وسجلت فئة حرية التعبير أكبر تغير: إذ تراجعت الدعاية من 60% إلى 1%.

كيف قاسوا ذلك؟

جمعت Nous عددًا قدره 803 مطالبات. وأُرفق بكل واحدة منها ما بين حقيقتين وأربع حقائق من مصادر مؤرخة، تشمل القوانين والأخبار والدراسات. ويتحقق الحَكَم، وهو Grok 4.7 من xAI، مما إذا كانت الحقيقة قد ذُكرت أو أُغفلت أو شُوهت. وتُعد الإجابة دعائية عندما تكرر الموقف الرسمي لبكين بدلًا من الحقائق، أو تؤيده، أو تقدمه بوصفه وجهة نظر متكافئة. ويجب على الحَكَم الاستشهاد بصياغات محددة، من دون معرفة النموذج الذي قدّم الإجابة.

للمقارنة، سجل النموذجان الغربيان Mistral Large 4 وGemma 4 31B أقل من 1%، بينما سجل GLM-5.3 وDeepSeek V4.1 Flash نسبتي 15% و16%. ومن اللافت أن Nous استبعدت Nvidia Nemotron 3 Ultra بسبب مؤشرات على انحياز صيني؛ إذ يشتبه الفريق في أن هذا الانحياز انتقل إليه عبر التدريب على مخرجات نماذج صينية مفتوحة.

ماذا عن الجودة؟

في اختبار Hermes Bench الداخلي، سجل Arete نسبة 65.60% مقابل 65.77% للنموذج الأساسي، أي إن الفارق يقع ضمن هامش الضوضاء. وفي Terminal-Bench 2.1، ارتفعت النتيجة من 67% إلى 70%، لكن Nous نفسها لا تعد ذلك تحسنًا حقيقيًا لأن ظروف التشغيل كانت مختلفة. أما نتيجة تفعيل وضع الاستدلال، والبالغة 3.07، فلا تزال مستندة إلى تشغيلين فقط من أصل خمسة.

القيود

جميع الأرقام مستمدة من الاختبار المعياري الخاص بـNous، والحَكَم نموذج واحد، ولا توجد حتى الآن إعادة مستقلة للتجربة. وإضافة إلى ذلك، غيّرت Nous توجهها: فقد صُمم Hermes 3 في عام 2024 ليكون محايدًا عن قصد، بينما يُقدَّم Arete بوصفه نموذجًا ذا «قيم غربية». وهذا أيضًا اختيار لموقف محدد، وينبغي أن تدركوا ما الذي تتبنونه.

ما الذي ينبغي فعله عمليًا؟

أولًا، إذا كنتم تستخدمون نماذج صينية مفتوحة الأوزان في منتجات تهم فيها الحقائق المتعلقة بالسياسة أو القانون أو حقوق الإنسان، فأضيفوا مثل هذه المطالبات إلى مجموعات التقييم الخاصة بكم. فالانحياز لا يظهر في كل مكان، بل في موضوعات محددة، وقد يؤثر حتى في جودة الشيفرة، كما أظهرت CrowdStrike في حالة DeepSeek.

ثانيًا، تتمثل الخلاصة الأساسية للمهندسين في إمكان إزالة الطبقة السلوكية بقدر محدود من التدريب الدقيق الخاضع للإشراف، ومن دون تعلم معزز مكلف. فإذا كنتم تحتاجون إلى نموذج يتبع سياسة مختلفة في الإجابات، فإن ميزانية تبلغ عشرات الملايين من التوكنات واقعية تمامًا. وقد نُشرت الأوزان ومجموعة بيانات الاختبار وبيانات التدريب بموجب ترخيص Apache 2.0، ما يتيح التحقق من المنهجية وتكرارها على نموذجكم الخاص.