Hugging Face تشرح كيفية الضبط الدقيق لنماذج التضمين وإعادة الترتيب متعددة الوسائط

أبرزت Hugging Face نقطة مهمة للذكاء الاصطناعي التطبيقي: لا يلزم استبدال نماذج البحث متعددة الوسائط بنماذج أكبر لتحقيق مكسب ملحوظ في الجودة. ففي دليل جديد حول Sentence Transformers، شرح الفريق كيفية تدريب نماذج التضمين (embedding) وإعادة الترتيب (reranker) وضبطها الدقيق، وهي نماذج لا تعمل مع النصوص فحسب، بل مع الصور والصوت والفيديو أيضًا. والفكرة الرئيسية بسيطة: إذا كانت لدى الشركة نقطة فحص (checkpoint) متعددة الوسائط عامة، فبالإمكان تكييفها مع مهمتها الخاصة وتحقيق مكسب أكبر مما يوفّره الانتقال إلى نموذج عام أثقل.

واختار المؤلفون مثالًا عمليًا هو مهمة استرجاع المستندات المرئية (Visual Document Retrieval)، حيث يجب العثور على الصفحة الصحيحة من مستند على هيئة لقطة شاشة انطلاقًا من استعلام نصي. وهذا سيناريو يتعيّن فيه على النموذج أن يفهم لا الكلمات وحدها، بل بنية الصفحة والجداول والرسوم البيانية والتعليقات والتخطيط البصري أيضًا.

استُخدم في التجربة نموذج Qwen3-VL-Embedding-2B، وجرى ضبطه الدقيق على المجموعة الفرعية الإنجليزية من مجموعة بيانات LlamaIndex. تضم المجموعة الأصلية نحو 500 ألف زوج متعدد اللغات من الاستعلام والصورة، أما النسخة المُعدّة للتجربة فاحتفظت بـ 53 512 مثالًا إنجليزيًا. واستُخدمت أول 10 آلاف سجل للتدريب، والـ 300 التالية للتقييم.

ولا يختلف مسار العمل (pipeline) كثيرًا عن التدريب النصي المعتاد في Sentence Transformers. ويؤكد المقال أن المدرِّب (trainer) ووسائط التدريب وتحميل مجموعة البيانات تبقى كما هي، وأن الفروق الأساسية مرتبطة بتعدد الوسائط: يُحمَّل النموذج مع processor_kwargs وmodel_kwargs للتحكم في جودة معالجة الصور ودقة الحسابات وتطبيق الانتباه (attention)؛ ويمكن أن تحتوي البيانات على نصوص أو صور أو صوت أو فيديو أو قواميس تضم عدة وسائط؛ وتجري المعالجة المسبقة تلقائيًا عبر model.preprocess().

ولأداء المهمة الرئيسية، استخدم المؤلف CachedMultipleNegativesRankingLoss مع mini_batch_size=1، كي يتعامل مع نموذج VLM كبير دون تجاوز سعة الذاكرة، مع الاحتفاظ بمزايا حجم الدفعة الفعّال الكبير بفضل التخزين المؤقت للتدرجات (gradient caching).

وتم التركيز بصورة خاصة على MatryoshkaLoss. وهذه طبقة تغليف فوق دالة الخسارة الأساسية تدرّب النموذج بحيث تتركز المعلومات المفيدة في الأبعاد الأولى من التضمين. وعمليًا، يتيح ذلك تقليص حجم المتجه عند النشر دون هبوط حاد في جودة البحث. فالحجم الكامل للتضمين في Qwen3-VL هو 2048 بُعدًا، لكن النموذج بعد هذا التدريب لا يفقد من جودته إلا القليل حتى عند التقليص إلى 512 بُعدًا. بل إن إعدادات النسخة النهائية حُفظت مع truncate_dim=1024، أي أنها تُخرج افتراضيًا متجهات أصغر بمرتين من الحجم الكامل، وبذلك تخفّض متطلبات التخزين والفهرس.

وتبدو النتائج مقنعة حتى دون تحفظات مطوّلة. فبعد حقبة واحدة، سجّلت النسخة المضبوطة NDCG@10 بمقدار 0.947 على مجموعة التقييم، بينما سجّل Qwen3-VL-Embedding-2B الأساسي 0.888. وفي جدول المقارنة، تفوّق هذا النموذج ذو المليارين من المعاملات لا على نسخته الأصلية فحسب، بل على أنظمة أكبر أيضًا، منها Qwen3-VL-Embedding-8B الذي حقق 0.923، وعدة حلول متعددة الوسائط حديثة أخرى.

وأظهر المؤلف كذلك أن النموذج المضبوط يحافظ عند 512 بُعدًا على 0.945، أي أنه يبقى قريبًا من الذروة، بل يحتفظ حتى عند 64 بُعدًا بأكثر من 92% من أقصى جودة. وبالنسبة للفرق التي تحسب تكلفة الفهرس وزمن الاستجابة (latency)، فهذا ليس تفصيلًا ثانويًا، بل حجة عملية تدعم هذا النهج.

وفي الختام، تشير Hugging Face بشكل منفصل إلى أن الحزمة نفسها تتيح تدريب نماذج إعادة الترتيب متعددة الوسائط أيضًا. ولهذا الغرض يُستخدم CrossEncoderTrainer ودوال خسارة متخصصة، وفي مثال إعادة الترتيب من نوع any-to-any يُدرَّب النموذج على تحديد ما إذا كانت الصورة تطابق النص، مع إرجاع تقييم ثنائي. وهذا مهم لأن المسترجِع (retriever) ونموذج إعادة الترتيب يعملان في أنظمة البحث الحقيقية غالبًا كزوج: الأول ينتقي المرشحين بسرعة، والثاني يعيد ترتيب النتائج بدقة.

ما الذي يعنيه ذلك: تقترب نهاية عهد «نأخذ أكبر نقطة فحص متعددة الوسائط ونأمل الأفضل». فـ Hugging Face تعرض مسارًا أكثر واقعية: أن نأخذ نموذجًا متاحًا بالفعل، ونضبطه الدقيق على مجالنا، ونحافظ على التوافق مع مسار Sentence Transformers المألوف، ونقلّص التضمينات عند الحاجة دون هبوط ملحوظ. وبالنسبة للفرق التي تبني البحث في المستندات أو الكتالوجات أو أرشيفات الوسائط أو قواعد المعرفة الداخلية، فهذه إشارة مباشرة: جودة البحث متعدد الوسائط باتت تتحدد أكثر فأكثر لا بحجم النموذج في حد ذاته، بل بجودة الضبط الخاص بالمجال.