Qwen3-VL-4B بعد الضبط الدقيق على صور الطائرات المسيّرة: ارتفاع الدقة بمقدار 18,33 نقطة مئوية في اختبار Drone-PUR

نشرت مجموعة من الباحثين من جامعة تيانجين وجامعة نانكاي وجامعة الجنوب الشرقي Drone-PUR، وهو مجموعة بيانات واختبار معياري يقيس قدرة النماذج متعددة الوسائط (VLM) على العثور على الإشارات البصرية في صور الطائرات المسيّرة وتفسيرها وربط بعضها ببعض. وفي الوقت نفسه عرض المؤلفون نموذجًا أساسيًا هو UAV-PUR، جرى ضبطه انطلاقًا من Qwen3-VL. وحسّنت نسختاه بحجم 4 و8 مليارات معامل الدقة الإجمالية في مهام الاختيار من متعدد بمقدار 18,33 و17,52 نقطة مئوية مقارنةً بالنماذج الأصلية المدرَّبة مسبقًا.

ثلاثة مستويات: الإدراك والفهم والاستدلال

تقوم فكرة الاختبار على أن الإجابة النهائية للنموذج تعتمد على جودة «القرائن» الموجودة في الإطار. ويعرّف المؤلفون الإشارة البصرية بأنها منطقة من الصورة ذات أهمية للمهمة، تضم كائنًا واحدًا أو أكثر، وترتبط بوسيط تصوير وزاوية رؤية ووقت التقاط محدّدة. يعثر الإدراك على هذه المناطق ويستخرج منها المعلومات الأساسية: الفئة والسمات والعدد والموضع. ويطابقها الفهم مع الشروط الدلالية والمفاهيم المكانية. أما الاستدلال فيجمع عدة إشارات في استنتاج منطقي واحد.

مثال من الورقة: في صورة لبط، يجب على النموذج أن يرى الطيور والسياج، ويحلّل بنية الحظيرة وآثار وجود الإنسان، ثم يشرح لماذا تجمّع البط كله في البركة.

يجعل التصوير بالطائرات المسيّرة هذه المهام أصعب من المعتاد. فالكائنات صغيرة ومتراصّة، والسمات المهمة لا تشغل سوى بضعة بكسلات، كما أن تغيّر زاوية الرؤية يغيّر مظهر الأشياء ونظام المعالم المكانية معًا. وفي Drone-PUR تشغل أكثر من 90% من المناطق الموسومة أقل من 1% من مساحة الصورة.

ماذا تضم مجموعة البيانات

يشمل الاختبار 11 مهمة، و175 213 مثالًا تدريبيًا، و20 051 مثالًا اختباريًا. وتتنوع المدخلات: إطارات مفردة، وتسلسلات، وأزواج من صور RGB وصور التصوير الحراري (TIR)، ومشاهد متزامنة من عدة طائرات مسيّرة. أخذ المؤلفون الصور من ثماني مجموعات بيانات أصدروها سابقًا، وأضافوا 66 940 صورة جديدة. وتُقيَّم عشر مهام عبر الاختيار من متعدد، بينما يُتحقق من الكشف (detection) وربط الكائن بالوصف (grounding) والعدّ بصيغة مفتوحة، أي عبر تنبؤ كمي مباشر.

وتغطي أربع مهام استدلالية التفسيرات السببية والاستنتاجات حول الموقف داخل إطار واحد، إضافةً إلى دمج الإشارات من وسائط وزوايا رؤية مختلفة. أُنشئت الأمثلة بمساعدة نماذج VLM، ثم راجعتها نماذج أخرى وراجعها بشر يدويًا، واستغرق ذلك أكثر من 800 ساعة عمل بشرية. أما مهمة Position Spatial Judgment (PSJ، تقدير الموضع النسبي للكائنات) فقد وُسمت يدويًا بالكامل، وخضعت جميع الأمثلة الاختبارية لمراجعة بشرية.

نتائج 22 نموذجًا وأثر الضبط الدقيق

اختبر المؤلفون 22 نموذج VLM عامًّا. وضمن العائلة الواحدة، تتعامل النماذج الأكبر عادةً بشكل أفضل مع المستويات الثلاثة كلها. والاستثناء هو الأحكام المكانية: فجودتها لا ترتفع باطّراد مع زيادة الحجم، كما تُظهر التنبؤات تفضيلات منهجية لاتجاهات بعينها. وأصعب ما يواجه النماذج هو PSJ والاستدلال متعدد زوايا الرؤية (MVR).

وعلى مستوى النماذج المختلفة، يرتبط الإدراك القوي بالاستدلال القوي. وأظهرت تجارب الضبط الدقيق على مهمة واحدة انتقالًا انتقائيًا للأثر في الاتجاهين: فالتدريب على البحث عن الإشارات وتفسيرها يحسّن الاستدلال، والتدريب على دمج الإشارات يرفع الإدراك. وأكّد حجب المناطق المحلية الرئيسية وتعطيل بعض الوسائط أو زوايا الرؤية أن الاستدلال يتضرر عند غياب الأجزاء المهمة والملاحظات المكمّلة.

دُرّب UAV-PUR على ثلاث مراحل: تكييف الإدراك، ثم التدريب المشترك على جميع المهارات، ثم ترسيخ نهائي يعتمد على التدريب اللغوي فقط. وفي المرحلتين الأوليين استُخدمت ثلاثة «رؤوس» مساعدة بإشراف هندسي وعددي، تساعد على ربط التمثيلات البصرية بمهام التصوير الجوي. وعند الاستدلال (inference) يُستخدم الرأس اللغوي الأصلي فحسب. وجاءت أكبر التحسينات في مطابقة الأهداف والربط عبر عدة مصادر.

القيود

لا يزال UAV-PUR أدنى من أفضل نموذج متاح عبر API في مهام الاستدلال الصرف. وتظل صعبةً حتى بعد الضبط الدقيق: التفسير المكاني الدقيق، والتنبؤات الموثوقة بالصيغة المفتوحة، ودمج الإشارات من مصادر مختلفة. ولا يتضمن الوصف المتاح بيانات عن النماذج المتصدرة بعينها ولا عن الدرجات المطلقة، لذا يُفضَّل مقارنة النتائج عبر مواد المشروع على drone-pur.github.io.

وبالنسبة إلى الفرق التي تبني أنظمة الملاحة أو الفحص أو المراقبة على أساس VLM، فالخلاصة الرئيسية عملية: النماذج العامة غير المكيّفة مع التصوير الجوي تخطئ في التفاصيل الصغيرة والمكان، والضبط الدقيق الموجَّه يمنح مكسبًا ملموسًا، لكنه لا يسدّ الفجوة في الاستدلال. ويتيح توفّر مجموعة البيانات المفتوحة، بما فيها العيّنة التدريبية، إعادة إنتاج هذه الوصفة على نماذج الفرق نفسها.