GAFU يستخرج المعرفة من التوليد في UMM ويرفع نتائج VStar-Bench بنسبة 20%

اقترح فريق من الباحثين GAFU، وهو إطار لما بعد التدريب مخصص للنماذج متعددة الوسائط الموحدة (UMM)، أي الأنظمة التي تحلّل الصور وترسمها ضمن معمارية واحدة. تقوم الفكرة على استخدام ما «تعرفه» النماذج في جانب التوليد مباشرةً في مهام الفهم البصري الدقيق. وبالمقارنة مع خطوط أساس SFT المدرَّبة على البيانات نفسها، بلغت أعلى زيادة نسبية 20,00% على VStar-Bench، و17,94% على OmniSpatial، و8,62% على VSR-Bench. وتأكدت النتيجة على مهام بصرية متنوعة وعلى معماريات UMM مختلفة.

لماذا يلاحظ التوليد ما يفوته الفهم

لا يزال الفهم البصري الدقيق نقطة ضعف في نماذج الرؤية واللغة. فتمييز السمات الصغيرة للكائن، أو إدراك ما يقع على يسار ماذا وما يقف أمام ماذا، يأتي أسوأ من وصف المشهد ككل. وتوفّر UMM فرصة غير معتادة هنا: لديها مسار توليدي يُفترض بطبيعته أن يحتفظ بقدر كبير من المعلومات البصرية، وإلا تعذّرت إعادة بناء الصورة.

حتى الآن، استخدمت هذه النماذج التوليد في الغالب بصورة غير مباشرة: إما إشارة تدريب إضافية (الإشراف التوليدي)، وإما عبر توليد صور صريح أثناء الإجابة. أما التمثيلات الأصلية لجانب التوليد فلم يحلّلها أحد تقريبًا بشكل منهجي ومباشر. وقد سدّ المؤلفون هذه الفجوة بتحليل مستقل، وخرجوا بثلاث نتائج:

• التمثيلات التوليدية أشد استجابةً للتغيرات الدلالية الدقيقة؛
• تلتقط تغيرات مهمة للمهمة تفوتها تمثيلات جانب الفهم؛
• لا تعمل هذه الميزة إلا عند التنظيم المكاني الصحيح للتمثيلات.

النقطة الثالثة هي الأهم عمليًا. فهي تعني أن «توصيل» الخصائص التوليدية ببساطة لا يكفي: إذا اختلّت البنية المكانية، يزول المكسب.

رموز G جسرًا بين الفرعين

على هذه الملاحظات بُني GAFU. يأخذ الإطار التمثيلات البصرية لجانب التوليد ويضغطها في مجموعة مضغوطة من رموز G (G-tokens) تحافظ على التفاصيل البصرية الدقيقة. بعد ذلك يتدخل فرع الفهم: يرجع إلى هذه الرموز ويستخرج منها ما يلزم للسؤال المحدد. يسمي المؤلفون ذلك task-conditioned retrieval، أي البحث عن المعلومات وفق شرط المهمة.

هذا ما بعد تدريب، وليس إعادة بناء للنموذج من الصفر. ولا حاجة إلى توليد صورة أثناء الإجابة، وبالتالي لا يوجد تأخير ناتج عن تمرير إضافي عبر المولّد. أما المعلومات التي كانت تبقى سابقًا داخل المسار التوليدي، فتصبح متاحة للاستدلال.

المقارنة مبنية بشكل سليم: قورن GAFU بخطوط أساس SFT على بيانات متطابقة. ولا يمكن عزو الزيادة إلى أن النموذج رأى أمثلة أكثر فحسب.

المعاملات الرئيسية

• النوع: إطار ما بعد التدريب لـ UMM
• العنصر المحوري: رموز G مضغوطة مستخرجة من التمثيلات التوليدية
• الآلية: استخراج فرع الفهم للتفاصيل وفق شرط المهمة
• VStar-Bench: حتى +20,00% نسبةً إلى SFT
• OmniSpatial: حتى +17,94%
• VSR-Bench: حتى +8,62%
• التحقق: مهام فهم بصري متنوعة ومعماريات UMM مختلفة

ماذا نفعل بهذا عمليًا

بالنسبة إلى الفرق التي تبني نماذج UMM أو تواصل تدريبها، الإشارة الرئيسية هي أن الجزء التوليدي من النموذج لا يجب أن يكون «رسّامًا» منفصلًا. إذ يمكن تحويل تمثيلاته إلى مصدر إشارة للفهم، وذلك ضمن ما بعد التدريب المعتاد. ويبرز ذلك خصوصًا حيث تهم الكائنات الصغيرة وهندسة المشهد: التحقق من التفاصيل في الصور، والأسئلة المكانية، والمهام التي تتعثر فيها نماذج VLM حاليًا.

وهناك قيود ينبغي أخذها في الحسبان. فالأرقام المعلنة هي أعلى زيادات نسبية، وليست متوسطات عبر جميع الإعدادات، كما أن الأثر على VSR-Bench أكثر تواضعًا بوضوح منه على VStar-Bench. إضافةً إلى ذلك، تعتمد الطريقة على التنظيم المكاني الصحيح للتمثيلات التوليدية، ولذلك قد تحقق المعماريات التي يختلّ فيها هذا التنظيم مكاسب أقل.

أما بالنسبة إلى القطاع، فالخلاصة أوسع من ورقة بحثية واحدة. فإذا كان التوليد والفهم في UMM يكمّلان بعضهما فعلًا، تقوى حجة النماذج الموحدة في مقابل الجمع بين نظامين متخصصين. ويُظهر GAFU طريقًا محددًا لاستخراج هذا التأثير التآزري دون تعقيد الاستدلال (inference).