شركات تضبط نماذج LLM صغيرة جدًا لمهمة واحدة بدل الاعتماد على واجهات API للنماذج الرائدة

إرسال مهمة من نوع «صنّف هذا الطلب ضمن إحدى عشر فئات» إلى نموذج لغوي رائد عبر API يشبه توظيف حائز على جائزة نوبل للرد على مكالمات متكررة في مركز اتصال. من هذه المقارنة يبدأ موقع Habr تحليله لممارسة باتت أكثر شيوعًا في الذكاء الاصطناعي المؤسسي: تدرّب الشركات نموذجًا صغيرًا جدًا لمهمة ضيقة واحدة وتتخلى عن النموذج العملاق متعدد الأغراض. والمقصود نماذج بين 0,5 و3 مليار معامل، مقابل مئات المليارات في النماذج الرائدة. وبعد التكميم يشغل النموذج من مئات الميغابايت إلى بضعة غيغابايت، ويعمل على بطاقة رسوميات غير مكلفة، وأحيانًا على معالج عادي.

تنبيه مهم: لا يتضمن الجزء المتاح من المادة أي اختبارات أداء (بنشمارك) خاصة به، لذا فالأرقام الواردة أدناه تمثل أوامر الحجم المعتادة في مثل هذه المشاريع، وليست نتائج شركة بعينها.

لماذا يُعد النموذج الرائد مبالغة هنا

يستطيع النموذج العام كتابة الشيفرة البرمجية والاستدلال ومحاورة المستخدم. أما تصنيف الطلبات أو التحقق من بنية JSON فلا يحتاج إلى هذه القدرات، ومع ذلك تُدفع كلفتها مع كل طلب: مالًا، وزمن استجابة، واعتمادًا على مزوّد خارجي. ومع ملايين الاستدعاءات المتشابهة يوميًا تنمو الفاتورة خطيًا، ويتحول الفرق في السعر بين النموذج الكبير والصغير إلى بند مستقل في الميزانية.

المهمة الضيقة لها فضاء إجابات مغلق. فإذا كان المطلوب اختيار فئة من عشر فئات، أو التأكد من أن الرد يطابق مخططًا محددًا، فلا يحتاج النموذج إلى معرفة كل شيء. يكفيه أن يتعلم جيدًا توزيع هذه البيانات بالذات. وتكفي لذلك معماريات مدمجة مثل عائلات Llama 3.2 (1B و3B) وQwen2.5 (من 0,5B) وGemma وPhi.

كيف يجري ذلك عمليًا

يبدو المسار المعتاد كالتالي. أولًا، يمرّر الفريق جزءًا من البيانات الحقيقية عبر نموذج قوي، فيحصل على وسم مرجعي يراجعه بشر. ثم يُضبط النموذج الصغير على مجموعة البيانات هذه، وغالبًا عبر LoRA أو QLoRA، أي بتحديث مجموعة صغيرة فقط من أوزان المحوّلات (adapters). ويمكن إنجاز ذلك على بطاقة واحدة خلال ساعات قليلة. تسمى هذه الطريقة تقطير المعرفة: يؤدي النموذج الكبير دور المعلّم، ويتبنّى النموذج الصغير سلوكه ضمن نطاق محدود.

الخصائص العملية التي تقف وراء هذا التوجه:

• الحجم: 0,5–3 مليار معامل بدلًا من مئات المليارات؛
• الذاكرة: من مئات الميغابايت إلى بضعة غيغابايت بعد تكميم 4–8 بت؛
• العتاد: بطاقة رسوميات واحدة غير مكلفة أو CPU؛
• زمن الاستجابة: عشرات المللي ثانية للرد القصير، دون استدعاءات شبكية إلى الخارج؛
• البيانات: تبقى داخل محيط الشركة، وهذا مهم للبيانات الشخصية وتسجيلات المكالمات؛
• الكلفة: تتحدد كلفة الطلب بالعتاد الخاص، لا بتعرفة المزوّد.

أين تكمن العقبات

يتحول بند الإنفاق الرئيسي من الاستدلال (inference) إلى البيانات. فمجموعة البيانات الموسومة عالية الجودة تكلّف وقت الخبراء، وتتوقف النتيجة مباشرة على نقائها. والنموذج الصغير ينقل ما تعلّمه إلى ما وراء مهمته بصعوبة: فإذا ظهرت فئة جديدة من الطلبات أو تغيّرت الصيغة، فسيلزم ضبطه من جديد. وتلزم مراقبة انحراف البيانات (data drift) ومجموعة اختبار وعملية لإعادة التدريب، وإلا ابتلعت كلفة الصيانة الوفر المتحقق.

وهناك أيضًا الحالات الحدّية. فالصياغات الملتبسة والفئات النادرة يعالجها النموذج الصغير بجودة أقل من النموذج الرائد. لذلك تبني الفرق الناضجة تسلسلًا متدرجًا: يعالج النموذج الصغير التدفق الأساسي، وتُحال الحالات المشكوك فيها ذات الثقة المنخفضة إلى النموذج الكبير.

من أين تبدأ

راجع استدعاءات LLM لديك وحدّد تلك التي يندرج جوابها ضمن مجموعة ثابتة من الفئات أو ضمن مخطط محدد. هذه هي أفضل المرشحين. اجمع بضعة آلاف من الأمثلة بوسم تم التحقق منه، وقِس دقة النموذج الرائد على عينة مستبقاة (held-out)، واعتمدها معيارًا مرجعيًا. ثم اضبط النموذج الصغير وقارن الجودة وزمن الاستجابة وكلفة الطلب. إذا كان فارق الدقة ضمن الحدّ المقبول، فانقل التدفق إلى النموذج الصغير واحتفظ بالنموذج الرائد مستوى احتياطيًا للإجابات غير المؤكدة. والأفضل أن تبدأ بسيناريو واحد هو الأكثر كثافة والأكثر مللًا، لأن المكسب فيه يظهر أسرع.