OpenMobile-2 يفتح وكيل الهاتف المحمول: 79,9 على AndroidWorld وأكثر من 110 تطبيقات

نشر فريق OpenMobile-2 وكيلاً للهاتف المحمول يقترب أداؤه من مستوى النماذج الرائدة (الفرونتير)، ولم يفتح الفريق أوزان النموذج الناتج فحسب، بل فتح الأساس كله: البيئة والبيانات ووصفات التدريب. يحقق الوكيل 79,9 على AndroidWorld و50,4 على MobileWorld، أما على الأجهزة الحقيقية في SPA-Bench فقد ارتفعت النتيجة من 31,9 إلى 59,6. ويقوم العمل على 35 تطبيقاً تجارياً محاكىً، ونحو 12 ألف مسار لـ supervised fine-tuning، وأكثر من 2000 مهمة RL مع تحقق تلقائي.

بيئة اختبار تضم 110 تطبيقات

الجزء الأهم في العمل هو MobileGym++. وهي مجموعة من 35 تطبيقاً واقعياً على غرار التطبيقات التجارية، بوظائف غنية وسيناريوهات تمتد عبر عدة تطبيقات في آن واحد. ومع ذلك يمكن التحكم في البيئة بالكامل: تُعاد الحالة إلى نقطة البداية، ويُتحقق من نتيجة المهمة برمجياً. وهذا أمر حاسم في التعلم المعزز، لأن المكافأة يجب أن تُحتسب تلقائياً وبصورة قابلة لإعادة الإنتاج، بينما لا توفر الخدمات الحية ذات الحسابات والمحتوى المتغير ذلك.

وأُضيفت إلى المحاكيات تطبيقات مهيأة داخل محاكيات Android. وبذلك تتجاوز المنصة 110 تطبيقات. ويعمل هذا التنوع ضد الإفراط في التكيّف مع مجموعة ضيقة من الواجهات، وهو ما يتعثر عنده كثير من وكلاء الهاتف المحمول عادةً.

البيانات والنهج الهجين بين GUI والأدوات

على هذه القاعدة جمع المؤلفون قرابة 12 ألف مسار تفاعل لـ SFT، وما يصفونه بأنه أكبر مجموعة مفتوحة من بيانات RL القابلة للتحقق لوكلاء الهاتف المحمول: أكثر من 2000 مهمة قابلة للتنفيذ بمكافأة تلقائية.

أما الفكرة الثانية فتجريبية. فالتطبيقات تتيح جزءاً من وظائفها كأدوات app-native، مع بقاء الواجهة متاحة. ويبدّل الوكيل ضمن المهمة الواحدة بين النقرات والسحبات واستدعاء الأدوات: حيث يكون استدعاء الدالة أسرع يستدعيها، وحيث تلزم الشاشة يعمل عبر GUI. وتضم MobileGym++ أكثر من 300 أداة محدودة الصلاحيات بعناية في أكثر من 50 تطبيقاً.

ولأغراض التقييم أُضيف MobileGym++ Bench: سيناريوهات طويلة ومعقدة في تطبيقات تجارية. ويمكن تشغيل مجموعة المهام نفسها في وضع «GUI فقط» وفي الوضع الهجين، ما يتيح قياس إسهام الأدوات مباشرة.

الأرقام الرئيسية:

• AndroidWorld: 79,9
• MobileWorld: 50,4
• SPA-Bench على أجهزة حقيقية: من 31,9 إلى 59,6
• البيئة: 35 تطبيقاً محاكىً، وأكثر من 110 تطبيقات في المجموع مع المحاكيات
• بيانات SFT: نحو 12 ألف مسار
• بيانات RL: أكثر من 2000 مهمة بمكافأة تلقائية
• الأدوات: أكثر من 300 في أكثر من 50 تطبيقاً

ماذا ينبغي أن تجرّب الفرق

يسهل على الفرق البحثية أن تعتمد البيئة الجاهزة ذات المهام القابلة للتحقق بدلاً من بناء منصة اختبار خاصة من الصفر، فيصبح التدريب والتقييم قابلين للمقارنة مع النتائج المنشورة. أما من يطوّرون مساعدات الهاتف المحمول، فالأنفع لهم هو المعيار الهجين تحديداً: فهو يبيّن مقدار الدقة وعدد الخطوات اللذين يوفرهما كشف وظائف التطبيق كأدوات، مقارنةً بالعمل عبر الشاشة وحدها. وهذا في جوهره المنطق نفسه لـ function calling في LLM، لكنه منقول إلى واجهة الهاتف المحمول.

وهناك تحفظات. فالمؤلفون أنفسهم يصفون الوضع الهجين بأنه تجريبي. ويبدو الارتفاع في SPA-Bench من 31,9 إلى 59,6 لافتاً، لكن الملخص لا يحدد نقطة الأساس التي تجري المقارنة بها، لذا ينبغي الرجوع إلى الورقة الكاملة قبل استخلاص النتائج. كما أن وصف «قريب من الفرونتير» صادر عن المؤلفين أنفسهم. ويمكن التحقق منه فوراً: فكل شيء منشور على صفحة المشروع os-copilot.github.io/OpenMobile2-Home.