OpenVLHarness يمنح النماذج متعددة الوسائط ذاكرة وأدوات: +9,7–12,6 نقطة

يقترح مؤلفو OpenVLHarness إبقاء الاستدلال بيد النموذج متعدد الوسائط، وتزويده بأدوات خارجية مع ذاكرة تُحفظ فيها نتائج عمل هذه الأدوات. وعلى 22 اختبارًا معياريًا وثمانية نماذج مفتوحة ومغلقة، رفع هذا الإطار متوسط الدرجات بمقدار 9,7–12,6 نقطة مقارنة بخطوط أساس (baseline) مماثلة من دون أدوات. وأبرز النتائج تتعلق بالكلفة: فقد تفوّق GPT-6 Luna بجهد استدلال (reasoning effort) متوسط على النموذج الأساسي وعلى Codex وVisual Sketchpad، وكلاهما عمل بأقصى جهد، بمقدار 7,7–8,5 نقطة. واستهلك من الرموز ما لا يزيد على 37% مما استهلكته.

لماذا لا يكفي الاستدلال وحده

تنطلق الدراسة من تجربة مضبوطة على الاختبارات المعيارية الـ22 نفسها. فإذا زيدت ميزانية الاستدلال (inference) للنموذج الأساسي، أي أُعطي رموزًا أكثر للتفكير، يبقى المكسب متواضعًا. والسبب يعود إلى طبيعة المهام. فهي تحتاج إلى إدراك مرتبط بالصورة ومعارف خارجية وقياسات رقمية، وكل ذلك تتيحه أدوات مختلفة. ولا يستطيع النموذج استنتاج هذه الأمور من أوزانه، مهما طال تفكيره.

وثمة مشكلة ثانية. فمخرجات الأداة يجب أن تتحول إلى شكل يستطيع النموذج قراءته، ثم لا تضيع في الخطوة التالية من الاستدلال. وهنا تنهار معظم المخططات الوكيلية (agentic): تظهر الصورة أو الجدول مرة واحدة، وبعد ثلاث خطوات لا يبقى منهما سوى وصف نصي.

كيف صُمّم الإطار

يقوم OpenVLHarness على طبقتين وواجهة واحدة.

• تجمع طبقة Capability layer واجهات أدوات على مستوى المهمة مع عرض الأدلة (rendering). وهي توفر وصولًا موحدًا إلى واجهات خلفية (backends) متباينة، وتحوّل مخرجاتها إلى ملاحظات يفهمها النموذج.
• تحفظ الذاكرة المتعددة الوسائط الدائمة الصور والبيانات المنظمة وروابط الويب بوصفها عناصر قابلة للعنونة طوال مدة الطلب.
• تنفّذ واجهة Coding interface برامج مولَّدة على البيانات المحفوظة، بحيث يمكن إجراء الحسابات بدمج نتائج عدة أدوات.

ويحوّل ذلك كله الإجابة إلى حلقة تكرارية: الحصول على دليل، ثم فحصه، ثم دمجه مع أدلة أخرى. وقابلية العنونة هنا تفصيل جوهري. فالنموذج يشير إلى صورة محددة أو مجموعة بيانات من الذاكرة عبر عنوانها، ولا يحمل محتواها كاملًا داخل السياق.

الأرقام

• النطاق: 22 اختبارًا معياريًا، وثمانية نماذج أساسية (backbones) مفتوحة ومغلقة.
• متوسط المكسب مقارنة بخط أساس مطابق من دون أدوات (matched no-tool baseline): 9,7–12,6 نقطة.
• Qwen3-VL-8B: +11,2.
• Kimi K3: +9,7.
• GPT-6 Astra: +9,9.
• GPT-6 Luna بجهد medium effort مقابل النموذج الأساسي وCodex وVisual Sketchpad بأقصى جهد (max effort): تفوّق بمقدار 7,7–8,5 نقطة.
• استهلاك النموذج من الرموز: لا يزيد على 37% مما يستهلكه هؤلاء المنافسون.

ويستحق التفاوت بين النتائج الانتباه. فنموذج Qwen3-VL الصغير بحجم 8 مليارات معامل يحقق +11,2، أي أكثر من النماذج المغلقة الرائدة مثل GPT-6 Astra (+9,9). وبالنسبة إلى النماذج الصغيرة، تعوّض الأدوات والذاكرة جزئيًا نقص قدراتها الذاتية.

ماذا يعني هذا للمطورين

الخلاصة العملية لمن يبني وكلاء بصريين: عند نقص الجودة، ينبغي أولًا مراجعة المعمارية المحيطة بالنموذج بدلًا من رفع reasoning effort. وتُظهر المقارنة مع Codex وVisual Sketchpad أن الجهد المتوسط مع أدوات حسنة التنظيم قد يتفوق على الجهد الأقصى من دونها، وبكلفة أقل بثلاث مرات من حيث الرموز.

وثلاثة أمور يستحق تبنّيها منذ الآن. أولها تحويل مخرجات الأدوات إلى صيغة يقرؤها النموذج من دون فقدان. وثانيها حفظ الصور والبيانات الوسيطة ككائنات قابلة للعنونة، لا كأوصاف نصية. وثالثها تمكين النموذج من حساب النتيجة بالشيفرة اعتمادًا على البيانات المحفوظة. وثمة تحفظ واحد: الأرقام مأخوذة من وصف المؤلفين أنفسهم، ولا توجد في المادة اختبارات مستقلة، لذا ينبغي إعادة التحقق منها على مهامكم الخاصة قبل الاعتماد عليها.