ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

ضبط دقيق لنموذج Qwen3-0.6B على Mac mini: الإجابات الخاطئة تنخفض إلى 3 من 30 بدلًا من 9

يجيب نموذج Qwen3-0.6B الصغير عن أسئلة تخص مدونة مباشرةً داخل المتصفح، وكان من قبل يختلق تفاصيل غير موجودة في المقاطع المسترجعة. بعد الضبط الدقيق على Mac mini M4 خلال ساعة و20 دقيقة، انخفض عدد الإجابات الخاطئة في 30 سؤالًا إلى 3 بدلًا من 9، فيما بقيت الإجابات الصحيحة 16 مقابل 17. وفي 15 سؤالًا خارج موضوع المدونة، رفض النموذج الإجابة بدلًا من الاختلاق. والأجدى مع النماذج الصغيرة تعليمها إجابات قصيرة مستندة إلى النص، لا إعادة صياغة المحتوى.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
ضبط دقيق لنموذج Qwen3-0.6B على Mac mini: الإجابات الخاطئة تنخفض إلى 3 من 30 بدلًا من 9
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
التدريب4500 مثال من Claude Opus، حقبة واحدة، LoRA
النسخة v1 كانت أسوأ8 إجابات صحيحة من 30 بدلًا من 17
حقيقة رئيسية #3خطأ التحقق كان يتراجع، أما الإجابات الصحيحة فكانت: 18 ثم 11 ثم 9

تخيّل بحثًا داخل مدونتك أو وثائقك: يعثر النظام على أربعة مقاطع مناسبة، ويُفترض أن يجيب نموذج لغوي صغير يعمل داخل المتصفح إجابة موجزة بالاعتماد عليها. الفكرة مريحة: لا حاجة إلى خادم ولا إلى دفع ثمن الرموز (tokens). لكن نموذجًا بـ 0,6 مليار معامل، وهو Qwen3-0.6B، كثيرًا ما يختلق تفاصيل لا وجود لها في المقاطع. أراد مطوّر أن يختبر ما إذا كان الضبط الدقيق يعالج ذلك. النتيجة: في 30 سؤالًا توجد إجاباتها في المدونة، انخفضت الإجابات الخاطئة إلى 3 بدلًا من 9. وبقيت الإجابات المطابقة للمصدر 16 مقابل 17 للنموذج الأصلي، ورفض النموذج الإجابة عن جميع الأسئلة الـ 15 الخارجة عن موضوع المدونة. وأنفع ما في القصة هو الطريق الذي سلكه المطوّر: ثلاث محاولات من أصل أربع لم تنجح.

كيف صُمّمت التجربة

يتلقى النموذج مطالبة نظام قصيرة، وأربعة مقاطع مرقّمة من البحث الدلالي، وسؤالًا. المطلوب جملتان على الأكثر، وبالاعتماد على هذه المقاطع فقط. وإن لم تكن الإجابة فيها، عليه أن يقول إن المدونة، على ما يبدو، لا تتناول هذا الموضوع.

تألفت مجموعة التقييم من 45 سؤالًا: 30 منها تُجاب من المدونة و15 لا إجابة لها فيها. أما التدريب على منشورات المطوّر نفسها فكان سيُعدّ غشًّا، فضلًا عن أنها 16 منشورًا فقط. لذلك استخدم 2193 وثيقة تقنية بتراخيص مفتوحة: مدونة Go ومدونة Rust ووثائق Rust RFC ووثائق Python PEP. قُسّمت الوثائق إلى مقاطع وبُنيت لها التضمينات (embeddings) بالطريقة نفسها المتبعة في الموقع، كي يعتاد النموذج على ضجيج البحث الحقيقي. فأحيانًا تقع الإجابة في المقطع الأول، وأحيانًا في الرابع، وأحيانًا يظهر إلى جانبها نص شبه مطابق من منشور آخر.

كتب Claude الأسئلة الخاصة بالمقاطع. في بعض الحالات كانت الإجابة بين المقاطع المسترجعة، وفي حالات أخرى حُذفت الوثيقة المصدر ليتعلّم النموذج الرفض. وأُضيفت كذلك حالات «شبه الإصابة»: أسئلة في موضوع قريب لا تجيب عنها المقاطع. ثم كتب Claude Opus الإجابات. وهذا تقطير معرفي (distillation): يُظهر النموذج الكبير السلوك المطلوب ويكرره النموذج الصغير. جرى التدريب عبر LoRA ومكتبة mlx-lm على Mac mini بمعالج M4 وذاكرة 24 غيغابايت: حقبة واحدة على 4500 مثال استغرقت نحو ساعة و20 دقيقة. وقورنت كل نسخة بالنموذج الأصلي المصدَّر بصيغة 4 بت نفسها، فلم يختلف بينهما سوى الضبط الدقيق.

ثلاث محاولات فاشلة في الطريق إلى النتيجة

جاءت النسخة الأولى أسوأ من الأساس: 8 إجابات فقط من 30 استندت إلى المصدر بدلًا من 17. لكن لم تظهر إجابات مختلقة عن الأسئلة الخارجة عن الموضوع. فقد تبنّى النموذج من Opus عادتين. الأولى إضافة تحفظات من نوع «لا تفاصيل عن ذلك في المدونة»؛ وكانت في نحو 10% من إجابات التدريب، لكنها ظهرت في النموذج المضبوط تقريبًا في كل إجابة ثالثة، وكثيرًا ما كان ذلك في أسئلة تتوافر المعلومة المطلوبة فيها داخل المقاطع. والثانية حشر أكبر قدر من التفاصيل في الإجابة. هكذا تحوّلت «king» و«queen»، اللتان تردان متجاورتين في المقال، إلى «king» و«bicycle» بزعم أنهما متقاربتان.

في النسخة الثانية نُقّيت التحفظات بواسطة سكربت، لكن الإجابات الصحيحة لم تتجاوز 9 من 30. والأكثر إفادة هو ما كشفته نقاط التحقق المحفوظة بعد ربع الحقبة ونصفها وتمامها. فخطأ التحقق (validation loss) كان ينخفض عند كل نقطة، أي أن النموذج يقلّد كلمات Opus بدقة متزايدة. لكن الإجابات الصحيحة عن أسئلة المدونة كانت تتراجع: 18 ثم 11 ثم 9. فالنموذج بهذا الحجم يعيد إنتاج شكل الإجابة الغنية لا مضمونها، وكلما أتقن التقليد ازداد ارتباكه.

في النسخة الثالثة بقيت الأسئلة والمقاطع كما هي، وأُعيد تحرير الإجابات فقط: جملة قصيرة واحدة تحمل الواقعة، وأقرب ما يمكن إلى صياغة المصدر. من دون دمج وقائع من مقاطع مختلفة، ومن دون تعليقات عن غياب المعلومة. انخفض متوسط طول الإجابة من 180 إلى 123 حرفًا.

والنتيجة: 16 إجابة من 30 مطابقة للمصدر (مقابل 17، وفرق إجابة واحدة يدخل في حدود الضجيج على عينة كهذه)، و3 إجابات خاطئة بدلًا من 9. فعلى سبيل المثال، عن سؤال بطاقة الرسوميات المناسبة لـ Llama 70B، قدّم النموذج الأساسي فقرة من النصائح استنادًا إلى مقاطع عن التضمينات ووكيل الذكاء الاصطناعي، أما النموذج المضبوط فرفض الإجابة. وثمن هذا الحذر أنه يعلن كذلك في 11 سؤالًا من 30، ممّا تتوفر إجابته في المدونة، أن الموضوع غير موجود، بينما لا تتجاوز هذه الحالات 4 لدى النموذج الأساسي.

وفي صفحة بحث تظهر فيها المقاطع تحت الإجابة، يُعدّ ذلك مقايضة معقولة: ثوانٍ إضافية من القراءة أفضل من باطل يُقال بثقة.

أما النسخة الرابعة فأضافت 1200 سؤال عام من نوع «ماذا كُتب في المدونة عن X؟» لإزالة حالات الرفض غير المبرَّرة. لكن الإجابات الصحيحة بلغت 13 من 30، أي أسوأ من النسخة الثالثة.

ما يمكن الاستفادة منه عمليًا

  • يتبنّى النموذج الصغير أسلوب الأمثلة بأيسر مما يتبنّى المهارة الكامنة وراءه. علّمه فقط ما يستطيع إعادة إنتاجه من حيث المضمون.
  • لا تعتمد على validation loss. افحص نقاط التحقق على مهمتك الفعلية.
  • كلّف النماذج الصغيرة باستخراج واقعة محددة، لا بتلخيص عدة مصادر.
  • البيانات التدريبية المولَّدة بإهمال لن تمنحك السلوك الذي كنت تتوقعه.

نشر المطوّر النموذج ومجموعة البيانات والشيفرة للعموم، وأصبح تحميل النموذج في المتصفح يتطلب بيانات أقل مما يتطلبه النموذج الأصلي.

وتجدر الإشارة إلى القيود أيضًا. فثلاثون سؤالًا لا تكفي لاستنتاجات إحصائية، ولا يصح عدّ انخفاض الأخطاء من 9 إلى 3 نتيجة علمية. كما أن تقييم الإجابات أجرته عائلة نماذج Claude نفسها التي كتبت أمثلة التدريب، ولذلك ربما فضّل المقيِّم الأسلوب المألوف. وإن كررت النهج على وثائقك، فأعد كتابة المطالبة وعبارة الرفض بما يلائم مجالك، وأعد توليد الإجابات من جديد.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف صُمّمت التجربة؟

يتلقى النموذج مطالبة نظام قصيرة، وأربعة مقاطع مرقّمة من البحث الدلالي، وسؤالًا. المطلوب جملتان على الأكثر، وبالاعتماد على هذه المقاطع فقط. وإن لم تكن الإجابة فيها، عليه أن يقول إن المدونة، على ما يبدو، لا تتناول هذا الموضوع. تألفت مجموعة التقييم من 45 سؤالًا: 30 منها تُجاب من المدونة و15 لا إجابة لها فيها. أما التدريب على منشورات المطوّر نفسها فكان سيُعدّ غشًّا، فضلًا عن أنها 16 منشورًا فقط. لذلك استخدم 2193 وثيقة تقنية بتراخيص مفتوحة: مدونة Go ومدونة Rust ووثائق Rust RFC ووثائق Python PEP.

ما أبرز التفاصيل حول ثلاث محاولات فاشلة في الطريق إلى النتيجة؟

جاءت النسخة الأولى أسوأ من الأساس: 8 إجابات فقط من 30 استندت إلى المصدر بدلًا من 17. لكن لم تظهر إجابات مختلقة عن الأسئلة الخارجة عن الموضوع. فقد تبنّى النموذج من Opus عادتين. الأولى إضافة تحفظات من نوع «لا تفاصيل عن ذلك في المدونة»؛ وكانت في نحو 10% من إجابات التدريب، لكنها ظهرت في النموذج المضبوط تقريبًا في كل إجابة ثالثة، وكثيرًا ما كان ذلك في أسئلة تتوافر المعلومة المطلوبة فيها داخل المقاطع. والثانية حشر أكبر قدر من التفاصيل في الإجابة.

ما أبرز التفاصيل حول ما يمكن الاستفادة منه عمليًا؟

يتبنّى النموذج الصغير أسلوب الأمثلة بأيسر مما يتبنّى المهارة الكامنة وراءه. علّمه فقط ما يستطيع إعادة إنتاجه من حيث المضمون. لا تعتمد على validation loss. افحص نقاط التحقق على مهمتك الفعلية. كلّف النماذج الصغيرة باستخراج واقعة محددة، لا بتلخيص عدة مصادر. البيانات التدريبية المولَّدة بإهمال لن تمنحك السلوك الذي كنت تتوقعه. نشر المطوّر النموذج ومجموعة البيانات والشيفرة للعموم، وأصبح تحميل النموذج في المتصفح يتطلب بيانات أقل مما يتطلبه النموذج الأصلي. وتجدر الإشارة إلى القيود أيضًا.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…