WeChat تفتح مصدر WeVisOne-VL: الكشف والأقنعة والماتينغ في نموذج VLM واحد

أصدر فريق WeChat نموذج WeVisOne-VL (WeChat Vision All-in-One)، وهو نموذج رؤية ولغة (vision-language) مفتوح. يغطي النموذج في آن واحد طيف مهام الرؤية الدقيقة كله: كشف الأجسام، وتحديد الموقع بحسب الوصف النصي، والعدّ، وOCR، والتجزئة (segmentation)، والماتينغ (matting). وبحسب المطورين، يحقق النموذج نتائج رائدة في أكثر من 30 اختبار أداء، سواء على مستوى الأجسام أو على مستوى البكسلات المنفردة. ويشدد المطورون بصورة خاصة على أنه يمتنع عن الإجابة بصورة موثوقة عندما لا يكون الجسم المطلوب موجودًا في الصورة.

أين تفقد نماذج VLM المعتادة دقتها

تجيد النماذج متعددة الوسائط الكبيرة وصف ما يظهر في الصورة. لكن جودتها تتراجع بوضوح حين يُطلب منها تحديد موضع جسم بعينه، أو عدّ أجسام متطابقة، أو رسم حدود جسم. ويصف مطورو WeVisOne-VL ذلك صراحةً بأنه المشكلة الرئيسية: فنماذج VLM الحالية لا تزال غير موثوقة في الإدراك البصري الدقيق.

وعمليًا، تعالج الصناعة هذه المشكلة بربط أدوات منفصلة. يتولى نموذج اللغة الفهم، ويتولى كاشف منفصل رسم الإطارات، وتتولى شبكة تجزئة منفصلة بناء الأقنعة، ويتولى محرك OCR قراءة النص. وتحتاج كل حلقة إلى واجهاتها الخاصة، وتتراكم الأخطاء على امتداد السلسلة. ويحاول WeVisOne-VL اختزال هذا المسار في نموذج واحد بصيغة إخراج موحدة.

الرمز <OBJ> جسرًا إلى البكسلات

الفكرة الأساسية أن كل شيء يُختزل في تنبؤ منظم بالرمز التالي. فالنقاط والإطارات يُخرجها النموذج كسلسلة رموز عادية تحمل الإحداثيات. أما النتائج على مستوى البكسل، فقد أضيف إلى البنية مفكك بكسلات خفيف يرتبط بالنموذج عبر رمز خاص هو <OBJ>. والمنطق كالتالي: عندما يقرر النموذج أنه يجب تحديد نسخة بعينها من الأجسام، يُخرج هذا الرمز، ثم يحوّل المفكك التمثيل المرتبط به إلى قناع أو alpha matte.

ويوفر هذا الحل في الحوسبة: فالجزء الثقيل من العمل ينجزه نموذج VLM نفسه، ويبقى المفكك صغيرًا. ويعمل المفكك على مستوى النسخ (instances)، أي أن لكل جسم يُعثر عليه مخرجًا بكسليًا خاصًا به. ويلزم alpha matte حيث لا يكفي القناع الثنائي: الشعر، والفراء، والزجاج، والحواف شبه الشفافة. ويُستخدم عند قص الأجسام لأغراض المونتاج والرسومات.

الخصائص الرئيسية:

• المهام: الكشف، وreferring localization، والعدّ، وOCR، والتجزئة، والماتينغ
• دقة المخرجات: نقاط، وإطارات، وأقنعة، وalpha matte
• الإضافة المعمارية: مفكك بكسلات خفيف ورمز خاص <OBJ>
• التدريب: curriculum SFT من ثلاث مراحل، ثم RL على مزيج من المهام
• التقييم: أكثر من 30 اختبار أداء في مهام الأجسام والبكسلات
• السلوك عند غياب الهدف: امتناع ثابت عن الإجابة على الطلبات المتعلقة بأجسام غير موجودة
• الإتاحة: إصدار مفتوح للمجتمع

كيف دُرّب النموذج على عدم الاختلاق

يقوم التدريب على مرحلتين. تبدأ العملية بـ curriculum SFT من ثلاث مراحل، تتزايد فيها صعوبة المهام تدريجيًا. بعد ذلك يُستكمل تدريب النموذج بواسطة RL على مزيج من المهام، كي لا يتراجع أداء السياسة الموحدة لا في الكشف ولا في التجزئة ولا في OCR.

وهناك تركيز خاص على الطلبات التي لا يوجد فيها الجسم المطلوب. فهذه نقطة ضعف كلاسيكية لدى الكواشف ونماذج grounding: اطلب منها العثور على «سيارة حمراء» في إطار لا يحتوي على أي سيارة، وكثير من الأنظمة سترسم إطارًا مع ذلك. وفي بيئة الإنتاج تكلّف هذه الإنذارات الكاذبة أكثر من حالات الإغفال. لذلك يعدّ المطورون قدرة النموذج على أن يقول بصدق «هذا غير موجود هنا» شرطًا للانتقال من نماذج VLM الاستعراضية إلى أنظمة الاستخدام الفعلي.

أين يفيد ذلك عمليًا

أول المرشحين للتطبيق: محررات الصور والفيديو التي تحتاج إلى قناع تحديد سريع وmatte عالي الجودة، وكذلك تطبيقات البحث بالصورة وعدّ الأجسام. ويندرج هنا أيضًا إدارة المستندات باستخدام OCR وتحديد مواضع الحقول، والروبوتات التي لا يكفي فيها التعرف على الجسم، بل يلزم تحديد موضعه.

أما بالنسبة للمطورين، فالميزة الرئيسية هي الانفتاح. فبدلًا من حزمة من ثلاثة أو أربعة نماذج، يمكن اختبار نموذج واحد ومقارنته بالمسار الحالي على بياناتهم الخاصة. وهكذا تحديدًا ينبغي التحقق من النتائج المعلنة في أكثر من 30 اختبار أداء: على لقطاتهم الخاصة، وبطلبات حقيقية عن أجسام غير موجودة، مع احتساب زمن الاستجابة. وبالنسبة لـ WeChat، هذه أيضًا إشارة إلى أن منظومة Tencent تنافس بجدية في نماذج الإدراك متعددة الوسائط المفتوحة، لا في واجهات الدردشة وحدها.