PAIR يربط الرؤية بالفعل في نماذج VLA: نجاح OpenVLA-OFT يرتفع من 51,4% إلى 65%

اقترح فريق PAIR طريقة لجعل الخطوة التي تتجاوزها معظم نماذج VLA ذات الأفعال المستمرة خطوةً صريحة، وهي الانتقال من تمثيل المشهد والتعليمات إلى تمثيل يمكن توليد الحركات منه. على بنشمارك LIBERO-Plus ارتفع نجاح VLA-Adapter من 59,1% إلى 64,2%، وعلى CALVIN ارتفع متوسط طول السلسلة المنفَّذة من 4,42 إلى 4,53. وفي سبع مهام حقيقية أضاف OpenVLA-OFT نحو 13,6 نقطة مئوية، من 51,4% إلى 65,0%.

المشكلة التي يعالجها البحث مألوفة لكل من يتابع الروبوتات المعتمدة على النماذج الكبيرة. يتلقى نموذج VLA صورة وأمرًا نصيًا، وعليه أن يُخرج أفعالًا مستمرة: مسار الذراع الروبوتية وموضع القابض. يصف العمود الفقري البصري-اللغوي جيدًا ما يوجد على الطاولة وما يطلبه الإنسان. لكن الخصائص الملائمة للوصف ليست بالضرورة ملائمة للتحكم. في كثير من المعماريات يبقى هذا الجسر ضمنيًا، ولا يتعلمه النموذج إلا عبر خطأ التنبؤ النهائي بالأفعال.

كيف يعمل PAIR

يقدّم المؤلفون تمثيلًا وسيطًا مشتركًا بين الإدراك والفعل. أثناء التدريب يرمّز Masked Action Autoencoder مقاطع أفعال الخبراء إلى Action Latent Tokens، موائمةً مع أفق التخطيط. وبالتوازي تستخلص وحدة Bridge Module من التمثيلات البصرية-اللغوية الحالية الخصائص المهمة للمهمة. ثم يوائم PAIR هذه الخصائص مع الرموز الكامنة للأفعال. والناتج هو Bridge Tokens، وهي تحتفظ بمعلومات المهمة وتعكس في الوقت نفسه بنية حركات الخبراء.

بعد ذلك تُسقَط Bridge Tokens في فضاء رموز الأفعال وتُمزج في Action Tokens الأولية. وبذلك لا يبدأ Action Expert، المسؤول عن تدقيق الأفعال، من الصفر، بل من مسودة قريبة من المسار المطلوب. عند الاستدلال يُزال المُرمِّز التلقائي، وتُبنى Bridge Tokens من الملاحظة الحالية والتعليمات فقط. ولا يتطلب التشغيل أي تسمية إضافية ولا أفعال خبراء.

• النماذج الأساسية في التجارب: OpenVLA-OFT وVLA-Adapter.
• البنشمارك: LIBERO وLIBERO-Plus وCALVIN ABC-D.
• LIBERO-Plus مع VLA-Adapter: 59,1% ← 64,2% (+5,1 نقطة مئوية).
• CALVIN مع VLA-Adapter: متوسط طول السلسلة 4,42 ← 4,53.
• سبع مهام حقيقية مع OpenVLA-OFT: 51,4% ← 65,0% (+13,6 نقطة مئوية).

ماذا أظهرت التجارب

مكاسب المحاكاة متواضعة. على CALVIN بلغت الزيادة 0,11 خطوة في متوسط طول السلسلة، أي نحو 2,5% قياسًا بالنموذج الأساسي. وعلى LIBERO-Plus كانت الزيادة أوضح: 5,1 نقطة، أي نحو 8,6% نسبيًا. أما المهام الحقيقية فأعطت أقوى أثر، نحو 26% نسبةً إلى 51,4% الأصلية. لكن العينة صغيرة: سبع مهام ونموذج واحد في هذا الاختبار، ولذلك من المبكر الجزم بإمكانية نقل النتائج إلى منصات وظروف أخرى.

أجرى المؤلفون تحليلًا مستقلًا للتمثيلات. وبحسب بياناتهم، تحتفظ Bridge Tokens بمعلومات المهمة وتتيح المعلومات المتعلقة بالأفعال المستمرة قبل مرحلة التدقيق في Action Expert. وهذا يدعم الفكرة بشكل غير مباشر: الطبقة الوسيطة بين الإدراك والفعل مفيدة بوصفها واجهة صريحة، لا ناتجًا جانبيًا للتدريب. نُشر البحث في Hugging Face Daily Papers، ولا توجد حتى الآن إعادات إنتاج مستقلة له.

ماذا يعني ذلك للممارسين

يبدو النهج إضافةً فوق النماذج القائمة، لا معمارية جديدة من الصفر. ويُظهر الاختبار على نموذجي VLA أساسيين مختلفين أنه يمكن دمج PAIR في النماذج الحالية التي تضم Action Expert. وبما أن المُرمِّز التلقائي يُستخدم أثناء التدريب فقط، فإن كلفة الاستدلال، بحسب الوصف، لا ترتفع تقريبًا؛ فالإضافة الوحيدة هي توليد Bridge Tokens من الملاحظة الحالية. وللفرق التي تُعيد تدريب OpenVLA-OFT أو VLA-Adapter على مهامها الخاصة، يستحق الأمر اختبار الفكرة على بياناتها. ويُستحسن البدء بالسيناريوهات الواقعية، حيث تكون الفجوة بين المحاكاة والعتاد أشد ما تكون. والسؤال الرئيسي للأبحاث القادمة: هل يستمر المكسب على آفاق أطول، وعند تغيير الذراع الروبوتية، وفي المهام الواقعة خارج توزيع بيانات التدريب.