AVA ترفع دقة ICL متعدد الوسائط بمقدار 1,7 نقطة دون تدريب

نشر باحثون على arXiv ورقة بحثية أولية برقم 2610.12516 تتناول كيفية جعل نماذج vision-language الكبيرة المجمّدة تتعلم بصورة أفضل من الأمثلة الموضوعة مباشرة في الموجّه. لا يتطلب إطار AVA، الذي يظهر في عنوان الورقة باسم TraceICL، تدريبًا ولا يحتسب تدرجات. على خمسة اختبارات معيارية بموجّهات 4-shot متداخلة، يتفوق الإطار على أقوى طريقة أساسية في الظروف نفسها بمتوسط 1,7 نقطة، ويصل المكسب على VizWiz إلى 2,4. وثمن ذلك 26% من زمن الاستجابة الإضافي.

أين يتعثر ICL متعدد الوسائط

فكرة in-context learning في LVLM بسيطة: يُوضع في الموجّه عدد من الثلاثيات «صورة، سؤال، إجابة»، فتلتقط النموذج المهمة دون تدريب إضافي. لكن هذا الأسلوب هش عمليًا، ويحدد المؤلفون ثلاثة أعطال نموذجية. الأول أن العروض «تلتصق» بصور خاطئة، إذ يخلط النموذج في السياق الطويل المتداخل بين الصورة والنص الذي يخصها. الثاني أن الأمثلة المتشابهة تزاحم الأمثلة الأكثر إفادة، لأن نافذة السياق محدودة، ولأن الاختيار يقتصر عادةً على قرب التضمينات (embeddings). الثالث أن النموذج ينسخ الإجابات المشوّشة في العروض إلى تنبؤه بحرفيتها تقريبًا.

ثلاث وحدات بدل حيلة واحدة

تقسّم AVA خط إعداد العروض إلى ثلاث مراحل مستقلة يمكن الجمع بينها.

تقطّع وحدة Thread-Resolved Decomposer (TRD) السياق المتداخل إلى «خيوط»، واحد لكل عيّنة، ثم تعيد ربطها بحدود صريحة. بهذه الطريقة تُستعاد الصلة بين الصورة والنص.

تقدّر وحدة Influence-scored Demonstration Selector (IDS) التأثير الحدّي لكل مرشّح بتمريرة أمامية إضافية واحدة. ثم تحذف الأمثلة الزائدة وترتب ما تبقى بترتيب تنازلي بحسب القيمة.

تشغّل وحدة Weak-to-Strong Consistency Calibration (WSC) نموذجًا ضعيفًا من العائلة نفسها. يقدّر هذا النموذج مدى ثقته في إعادة بناء العرض. وكلما انخفضت الثقة، خفّ إسهام المثال عند فك الترميز: فهو لا يُستبعد، بل يُمنح وزنًا أقل.

ماذا أظهرت القياسات

• متوسط التحسن مقارنةً بأقوى طريقة أساسية في النمط نفسه: +1,7 نقطة على خمسة اختبارات معيارية لـ vision-language.
• أعلى مكسب: +2,4 نقطة على VizWiz.
• على ScienceQA-IMG تضيق فجوة الجودة في الأسئلة التي تتطلب معلومات بصرية.
• عند وجود 30% من العروض المشوّشة، تحتفظ الطريقة بمعظم المكسب.
• زمن الاستجابة أعلى بنسبة 26%، ويمكن للذاكرة المؤقتة غير المتصلة توزيع هذه الزيادة وتعويضها.
• صيغة التجربة: موجّهات 4-shot متداخلة، وLVLM مجمّدة، ولا يوجد تدريب.

من سيستفيد من هذا

الميزة العملية الأهم أن الطريقة تُضاف فوق نموذج منشور بالفعل. إذا كنت تستخدم LVLM مغلقة أو مرتفعة الكلفة بحيث يصعب تدريبها، وتحلّ مهمتك بموجّه few-shot، مثل وصف الصور لضعاف البصر (ومنه جاءت بيانات VizWiz) أو تحليل المواد التعليمية، فيمكنك البحث عن التحسين في إعداد الأمثلة دون المساس بالأوزان.

والقيود واضحة أيضًا. تحتاج WSC إلى نموذج ثانٍ ضعيف. وتمريرة واحدة إضافية لكل مرشّح في IDS تتزايد مع اتساع مجموعة الأمثلة، ولذلك تبدو نسبة 26% من زمن الاستجابة محسوسة في السيناريوهات التفاعلية إن لم تُستخدم ذاكرة مؤقتة. كما أن مكسب 1,7 نقطة متواضع، وقد قاسه المؤلفون على 4-shot. أما سلوكه في السياقات الطويلة التي تضم عشرات العروض، فلا يتضح من الملخص. والعمل حتى الآن ورقة أولية دون تحقق مستقل، لذا ينبغي قبل اعتماد الطريقة تجربتها على بياناتك الخاصة ومقارنتها بانتقاء بسيط للأمثلة.