باحثون يوسّعون رمز CLS في DINOv2 بمناطق اهتمام لتحسين البحث عن الصور

يقترح مؤلفو الورقة الأولية arXiv:2610.10991 طريقة لاستخلاص من DINOv2-reg أكثر مما يتيحه متجه [CLS] الواحد. فإلى الرموز الدلالية الخمسة في النموذج (رمز [CLS] العام وأربعة رموز register) يضيفون رموز ROI محلية. ويقوم البحث على مخطط multi-vector مستوحى من ColBERT. وبدلاً من واصف واحد لكل صورة، تُنتَج مجموعة صغيرة من الواصفات، ولا يلزم تخزين تضمينات (embeddings) جميع الرقع. الشيفرة منشورة على GitHub.

لماذا لا يكفي واصف واحد

خط أنابيب البحث عن الصور القائم على vision transformer بسيط في صورته المعتادة: تُمرَّر الصورة عبر النموذج، ويُؤخذ رمز [CLS]، ثم تُقارَن المتجهات بالتشابه الجيبي (cosine similarity). يكفي ذلك للبحث الدلالي التقريبي («ابحث عن شواطئ»). أما في مهام fine-grained (أنواع حيوانات متقاربة، وطرازات أجهزة، ومنتجات متشابهة) فالأمر أصعب. فالفروق تكمن في تفاصيل صغيرة، بينما يضطر المتجه العام إلى حشر محتوى الإطار كله دفعة واحدة. ويصرّح المؤلفون بأن هذا الضغط يضر بجودة البحث.

تعالج أفكار أخرى هذه المشكلة بكواشف خارجية أو صناديق إحاطة (bounding boxes) أو وحدات saliency. وهذه مكونات زائدة، وتضيف أخطاء إضافية، وتتطلب وسم بيانات إضافياً. أما هنا فقد اختير مسار مختلف.

كيف تعمل الطريقة

تقوم الطريقة على DINOv2-reg، وهو نسخة من DINOv2 مزوّدة برموز register. ووفق ملاحظة المؤلفين، تبدأ هذه الرموز أثناء التدريب بترميز الأجسام وأجزائها من تلقاء نفسها. يعمل كل رمز من الرموز الدلالية الخمسة ([CLS] وأربعة register) بوصفه «إشارة» (cue). ويُختار لكل إشارة «رفيق» (buddy)، وهو رمز رقعة يطابق أفضل مطابقة المنطقة المكانية التي تصفها تلك الإشارة. ثم تؤخذ حول الرفيق نافذة من N×N رقعة، وتُجمَّع في رمز ROI محلي.

وثمة تفصيل مهم: تُحدَّد مناطق الاهتمام تلقائياً، وبمجرد مطابقة الرموز الدلالية مع تمثيلاتها المكانية. ولا توجد أطر خارجية ولا وحدات لاستخراج الأهمية.

بعد ذلك تأتي فكرة ColBERT. يُمثَّل الاستعلام والمستند بمجموعتين من المتجهات، ويُحسَب التشابه عبر محاذاة الرموز عنصراً بعنصر (late interaction). وبذلك يُحافَظ على المطابقة الدقيقة، دون أن يتضخم الفهرس إلى مئات تضمينات الرقع لكل صورة.

• العمود الفقري (backbone): DINOv2-reg، وخمسة رموز دلالية ([CLS] + 4 register).
• يُبنى لكل «إشارة» رمز ROI خاص بها من منطقة N×N رقعة.
• لا حاجة إلى كواشف أو صناديق إحاطة أو وحدات saliency.
• البحث: multi-vector مع محاذاة عنصراً بعنصر، كما في ColBERT.
• الشيفرة مفتوحة، ورابط المستودع مذكور في الملخص.

ماذا أظهرت التجارب

يصوغ المؤلفون ثلاث خلاصات. الأولى: تحتفظ رموز register فعلاً بتفاصيل دقيقة مفيدة وتكمّل [CLS]. والثانية: تحسّن رموز ROI المجمَّعة تلقائياً (pooling) التمييز بين الفئات المتقاربة بدرجة إضافية. والثالثة: يتفوق البحث multi-vector بعدد قليل من الرموز على خط الأساس أحادي المتجه في DINOv2-reg، ويظل مقبولاً للبحث على نطاق واسع.

من المفيد ذكر القيد منذ البداية. فالملخص لا يتضمن مقاييس محددة: لا مكسباً في Recall@K ولا في mAP، ولا أسماء مجموعات اختبار (benchmarks). ولا يمكن تقدير حجم الأثر إلا من النص الكامل وجداول الورقة. كما أن الادعاء بأن النطاق «tractable» يحتاج بدوره إلى تحقق على أحجام بياناتكم الخاصة.

أين يمكن تطبيق ذلك

تهمّ الطريقة بالدرجة الأولى من يبنون بحثاً بصرياً في الكتالوجات: التجارة الإلكترونية، ومقتنيات المتاحف، والأرشيفات الحيوية والطبية. ففي هذه المجالات تفصل الفروق الصغيرة بين النتيجة المطلوبة والنتيجة القريبة من الصواب. وتتمثل ميزة المنهج في أنه يُبنى فوق DINOv2-reg الجاهز: فليس من الضروري إعادة تدريب العمود الفقري من الصفر، ويكفي إضافة مرحلة لاستخراج الرموز.

والثمن معروف مسبقاً: بدلاً من متجه واحد لكل صورة سيتعين تخزين عدة متجهات. فإذا بُني رمز ROI لكل إشارة من الإشارات الخمس، فالمجموع نحو عشرة متجهات (تقدير مبني على وصف الطريقة، والرقم الدقيق يتوقف على التهيئة). وسيكبر الفهرس، وعلى قاعدة المتجهات أن تدعم استعلامات multi-vector مع تسجيل شبيه بـ MaxSim. وقبل الاعتماد، من المجدي تشغيل المستودع على مجموعة بياناتكم ومقارنة مكسب الدقة بارتفاع تكلفة التخزين وزمن الاستجابة.