WinARDet يعالج حلقات التكرار في كاشفات MLLM: F1 يرتفع من 32,16 إلى 39,36

تعاني نماذج LLM متعددة الوسائط التي تحدد الأشياء استنادًا إلى وصف نصي من ضعف الأداء في المشاهد الكثيفة. فعندما تحتوي الصورة على مئات الأهداف، كثيرًا ما يبدأ النموذج بإخراج المربع (box) نفسه مرارًا وتكرارًا حتى يستنفد حد فك الترميز. يقترح مؤلفو WinARDet آلية Compressed Window Auto-Regression (WinAR) التي تكسر هذه الحلقة. على معيار RSDense، الذي تضم الصورة الواحدة فيه من 200 إلى 2000 كائن، ارتفع F1 عند IoU=0.5 من 32,16 إلى 39,36 قياسًا بالنموذج الأساسي RexOmni، وانخفضت نسبة التنبؤات الزائدة من 35,48% إلى 13,00%.

من أين تأتي حلقة التكرار

تصوغ كاشفات MLLM مهمة grounding عادةً على أنها توليد انحداري ذاتي للإحداثيات: يكتب النموذج المربعات رمزًا تلو الآخر، ويعتمد كل رمز جديد على تاريخ الإجابة السابق كاملًا. ينجح ذلك في المشاهد التي تضم عددًا محدودًا من الأشياء. أما في المشاهد الكثيفة، فيتضخم هذا التاريخ وتتراكم فيه رموز الإحداثيات.

يسمّي المؤلفون سبب الخلل historical-answer attention takeover، أي «استحواذ تاريخ الإجابة على الانتباه». فالإحداثيات المتكررة في التاريخ المتنامي تجتذب قدرًا غير متناسب من الانتباه، وتزاحم attention sinks التي يحتاجها النموذج للرجوع إلى الأدلة البصرية الجديدة. وهكذا يتوقف النموذج عن «النظر» إلى الصورة ويواصل اقتباس نفسه. والحلقة هنا تغذّي نفسها بنفسها: كلما زادت التكرارات في التاريخ، ازداد الانتباه الموجَّه إليها، وارتفع احتمال ظهور تكرار جديد.

كيف تعمل النافذة المضغوطة

تقسّم WinAR تسلسل الإجابة الطويل إلى نوافذ توليد متتالية. ولا يبقى الانحدار الذاتي الكامل على مستوى الرموز إلا داخل النافذة الحالية. أما كل نافذة سابقة فتُضغط في مجموعة ثابتة من الرموز الكامنة (latent tokens)، وتصبح هذه الرموز هي الشرط الذي يقوم عليه فك الترميز اللاحق.

والمنطق كالتالي: لم تعد الإحداثيات الخام للمربعات السابقة حاضرة باستمرار في السياق، وهذا يخفف المحفّز الذي يؤدي إلى استحواذ الانتباه. وفي الوقت نفسه لا تضيع الاعتماديات بين النوافذ: فالرموز الكامنة تُعلم النموذج بما جرى العثور عليه بالفعل، فلا يبدأ من الصفر. وحجم تمثيل الماضي لكل نافذة ثابت، ولذلك لا ينمو إسهامه في السياق مع زيادة عدد الكائنات.

أبرز الأرقام الواردة في العمل:

• F1 عند IoU=0.5 على RSDense: 32,16 → 39,36 (+7,2 نقطة، أي نحو 22% كنمو نسبي)؛
• نسبة التنبؤات الزائدة: 35,48% → 13,00%؛
• كثافة المشاهد في المعيار: من 200 إلى 2000 كائن في الصورة؛
• الأنماط التي جرى اختبارها: فك الترميز المتوازي للمربعات وتوليد المضلعات.

أين يفيد ذلك وما الذي ينبغي التحقق منه

تكمن قوة العمل في أن الطريقة غير مرتبطة بنمط إخراج واحد. ويُظهر المؤلفون أن WinARDet ينتقل بين استراتيجيات فك الترميز وصيغ الإخراج المختلفة: فهو يعمل مع فك الترميز المتوازي للمربعات ومع توليد المضلعات. وهذا مهم لأن محيطات التجزئة (segmentation) هي أيضًا تسلسلات طويلة من الإحداثيات، وتعاني من التكرارات نفسها.

أما الخلاصة العملية للفرق التي تبني أنظمة الكشف على VLM، فهي أنه إذا كان النموذج يعدّ أو يحدد مواقع عدد كبير من الأجسام الصغيرة (صور جوية، مستودعات، مشاهد حضرية كثيفة، حشود)، فينبغي قياس redundancy rate بصورة مستقلة، وعدم الاكتفاء بـ F1. فالتكرارات تظهر في هذا المقياس فورًا، بينما قد لا تظهر إطلاقًا في المشاهد المتوسطة. كما أن فكرة ضغط التاريخ في رموز كامنة قابلة للتطبيق على أي مهمة تتطلب إخراجًا طويلًا ومنظّمًا.

وهناك تحفظات. فقيمة F1 المطلقة البالغة 39,36 تدل على أن grounding الكثيف لا يزال مهمة صعبة: إذ ما زال الجزء الأكبر من الكائنات يُحدَّد بدقة غير كافية أو يفوت النموذج. كما لا يتضح من الوصف الثمن الذي يُدفع مقابل الضغط من حيث زمن الاستجابة والحوسبة، ولا ما إذا كان يتطلب إعادة تدريب النموذج من الصفر. والنتائج مقدَّمة على معيار كثيف واحد، والخروج باستنتاجات عن قابلية التطبيق على نطاق واسع يتطلب قياسات مستقلة على بيانات أخرى. ومع ذلك، يوفر التشخيص القائم على attention takeover نقطة تدخل محددة، وهذا النهج أيسر في الاختبار من مجرد تكبير النموذج أو السياق مرة أخرى.