نموذج Xiaomi-Lens-0 بحجم 4B يتفوق على Qwen3.5 بمقدار 5,6 نقطة في RefCOCO

Xiaomi-Lens-0 نموذج لغوي متعدد الوسائط بحجم 4 مليارات معامل، مبني على Qwen3.5. يتنبأ النموذج بأقنعة الأجسام من تمثيلاته البصرية الداخلية، ويستخدمها أثناء الاستدلال. وعلى جميع الأقسام الثمانية من RefCOCO وRefCOCO+ وRefCOCOg، يتفوق في المتوسط بمقدار 5,6 نقطة على Qwen3.5 الأساسي في فهم التعبيرات المرجعية (referring). ويسجّل أعلى cIoU للتجزئة بين النماذج المقارنة. صدر التقرير التقني في 16 أكتوبر 2026.

المشكلة: النص لا يحدد أين ينبغي النظر

تجيب نماذج MLLM عن الأسئلة المتعلقة بالصورة ككل بصورة مقبولة، لكنها تواجه صعوبة أكبر مع المناطق الصغيرة. يعزو المؤلفون ذلك إلى طريقة التدريب. فالتوصيف النصي يثبّت الإجابة الصحيحة، لكنه لا يحدد مناطق الصورة التي تؤيدها. وقد يخمّن النموذج الإجابة الصحيحة وهو ينظر إلى المكان الخاطئ، ولن تلتقط إشارة التدريب ذلك.

الحل المعتاد هو ربط نموذج تجزئة منفصل بمشفّر خاص به. أما Xiaomi فسلكت طريقًا آخر، وأبقت على backbone واحد مشترك.

كيف تعمل البنية

يتلقى مفكّك خفيف مدخلين. الأول هو سمات الرقع (patch features) من المشفّر البصري. والثاني هو الكامنات البصرية (visual latents)، أي حالات النموذج اللغوي عند رموز القناع الخاصة (mask tokens). ومن الجمع بينهما يبني المفكّك قناع المنطقة. لذلك ينتقل التدرّج (gradient) الناتج عن القناع مباشرة إلى الـ backbone المشترك، ولا حاجة إلى مشفّر تجزئة إضافي.

والنتيجة الأهم أن كل كامن يمكن فك ترميزه إلى قناع. وهذا يتيح إدراج كامنات مرتبطة بمناطق محددة داخل الاستدلال، أي «التفكير بالكامنات البصرية». ففي أثناء chain-of-thought يعود النموذج إلى مناطق الصورة، وتوفّر مسارات الاستدلال المرتكز على الصورة (grounded reasoning traces) إشرافًا على المناطق التي زارها تحديدًا. وهكذا لا يعود الاستدلال نصًا منفصلًا عن البكسلات.

ماذا أظهرت الاختبارات

يعرض المؤلفون النتائج التالية:

• حجم النموذج: 4B معامل، والنموذج الأساسي Qwen3.5.
• فهم التعبيرات المرجعية (Referring comprehension): +5,6 نقطة في المتوسط مقارنة بـ Qwen3.5 على الأقسام الثمانية كلها من RefCOCO وRefCOCO+ وRefCOCOg.
• التجزئة: أعلى cIoU بين النماذج المقارنة.
• الإدراك: تفوق على Qwen3.5 في جميع اختبارات الإدراك البصري.
• لا يُستخدم مشفّر تجزئة إضافي.

وتكمن أهمية النتيجة في اتساعها. فالنموذج لم يتحسن في قسم واحد مناسب فحسب، بل في الأقسام الثمانية كلها، ولم يخسر شيئًا في الإدراك العام. وغالبًا ما يؤدي التخصص في grounding إلى تراجع المهارات البصرية العامة، لكن التقرير لا يُظهر ذلك هنا.

غير أن هناك تحفظات. فلم يكشف نص الملخص عن تشكيلة «النماذج المقارنة»، ولا عن أحجام المنافسين، ولا عن القيم المطلقة للمقاييس. والزيادة البالغة 5,6 نقطة متوسط، وقد تختلف بشكل ملحوظ بين قسم وآخر. أما الرقم «0» في الاسم فيوحي بأنه الإصدار الأول، ما يجعله أقرب إلى إعلان عن اتجاه منه إلى منتج نهائي. ولا توجد حتى الآن عمليات إعادة إنتاج مستقلة للنتائج.

لمن يفيد ذلك عمليًا

من الواقعي تشغيل نموذج بهذا الحجم محليًا أو على عتاد محدود. وهو مناسب للمهام التي يهم فيها الإشارة إلى الشيء لا تسميته فقط: وسم مجموعات البيانات، والبحث عن جسم بحسب وصف نصي، ووكلاء الواجهات الذين يحتاجون إلى تحديد عنصر بعينه على الشاشة، وخطوط الروبوتات التي تربط الأمر بجسم في الإطار.

ينبغي للمطورين التحقق من ثلاثة أمور. الأول: سلوك النموذج على بياناتكم أنتم، لا على RefCOCO، فهذه المجموعة مدروسة منذ زمن طويل، وقد يلتهم الانزياح بين المجالات (domain shift) جزءًا من المكسب. الثاني: كلفة سلسلة الاستدلال ذات الكامنات الإقليمية من حيث الزمن والذاكرة. الثالث: توفر الأوزان والترخيص، ويُستحسن تتبعهما في صفحة المشروع seerray-lab.github.io/Xiaomi-Lens-0.

تبدو فكرة تدريب التجزئة عبر backbone مشترك، بدل إلحاق نموذج ثانٍ، قابلة للنقل إلى غيرها. وإذا تأكدت النتائج على نماذج أساسية أخرى، فقد تظهر هذه الوصفة في منظومات متعددة الوسائط مفتوحة المصدر خارج Xiaomi.