وكيل بـ8 مليارات معامل يدير تطبيقات iOS بمستوى Gemini 3.1 Pro

أظهر فريق من الباحثين أنه يمكن تدريب نموذج صغير بـ8 مليارات معامل على استخدام تطبيقات iOS الحقيقية بكفاءة، وبتكلفة أقل من النماذج العصبية الرائدة. ولم يُدرَّب الوكيل على أمثلة مسجّلة مسبقًا، بل تعلّم بالتجربة والخطأ مباشرة على أجهزة iPhone افتراضية حية. وفي UINavBench، وهو اختبار يستخدم تطبيقات iOS حقيقية، عادل الوكيل Gemini 3.1 Pro وتفوّق على Gemini 3.5 Flash وQwen3.8-27B. وتشبه المهام فيه طلبات من قبيل «ابحث عن زوج أحذية رياضية وأضفه إلى السلة». على الوكيل أن يضغط الأزرار بنفسه، ويتصفح الشاشات، وألا يضلّ طريقه.

لماذا تتعطل وكلاء الواجهات الصغيرة عادةً

تحظى الوكلاء التي تنظر إلى لقطة الشاشة وتنقر عليها بنفسها باهتمام متزايد. والنماذج الرائدة تنجح في ذلك، لكن المهمة الواحدة غالبًا ما تكلّف عدة دولارات، بحسب تقدير المؤلفين. وهذا مكلف للاستخدام اليومي.

لذلك يريد الجميع نماذج صغيرة. غير أن الطرق المعتادة لتدريبها تعاني من نقاط ضعف:

• الضبط الدقيق على العروض التوضيحية (SFT). ينسخ النموذج مسارات سجّلها بشر. وتكاد تخلو هذه المسارات من الأخطاء، فلا يعرف النموذج كيف يبدو الفشل ولا ماذا يفعل بعده. وحين ينحرف عن المسار المألوف يضيع الوكيل.
• التعلّم المعزز بمكافأة في النهاية فقط. لا يتلقى الوكيل إشارة إلا بعد انتهاء المهمة. وإذا كان النجاح نادرًا، فلا تكاد توجد إشارة. والخطوات التي قرّبت من الهدف فعلًا لا تُكافأ إذا فشلت المهمة في النهاية.
• التعلّم المعزز أحادي الخطوة. يُكافأ النموذج على تشابه إجراءاته مع سلسلة الإجراءات المرجعية، والمشكلة هنا هي نفسها في SFT.

المخطِّط والمنفِّذ والحَكَم

قسّم المؤلفون الوكيل إلى جزأين. يتلقى المخطِّط التعليمة ولقطة الشاشة وسجل الخطوات السابقة وما تبقى من الخطة. ثم يستدل عبر سلسلة تفكير ويُخرج الخطوة الحالية وخطة المراحل المقبلة. ومن بين إجراءاته توجيه سؤال إلى المستخدم إذا صيغت المهمة بشكل غامض، مثل: أي نوع من الأحذية الرياضية يجب البحث عنه تحديدًا.

نموذج الربط بالشاشة (grounding) يأخذ نص الخطوة ويحوّله إلى إجراء محدد بإحداثيات اللمس. وهذه مطابقة شبه آلية بين «النية» و«النقطة على الشاشة»، ويحلّها الضبط الدقيق المعتاد جيدًا. أما التعلّم المعزز المكلف فاقتصر على المخطِّط، لأنه يحتاج إلى الاستدلال والقدرة على التصرف في المواقف الصعبة.

ويتولى المكافآت نموذج لغوي آخر في دور الحَكَم. وهو يُصدر إشارتين:

• مكافأة كثيفة عن كل خطوة: هل قرّبت من الهدف، وهل خلت من الاختلاق والحلقات العقيمة؛
• مكافأة نهائية على إنجاز المهمة كلها.

يجري التدريب بخوارزمية PPO مع تقدير الأفضلية لكل خطوة (GAE)، وهي تحسب مقدار تفوّق خطوة بعينها على المتوقع أو تأخرها عنه. ولكي لا يطيل الوكيل الجلسة سعيًا وراء مكافآت الخطوات الوسيطة، أدخل المؤلفون خصمًا غير متماثل. فمكافآت الخطوات تفقد قيمتها مع الزمن، أما المكافأة النهائية على النجاح فلا تفقدها.

أما الابتكار الآخر فيسمى GiGPPO. ففي PPO يوجد ناقد (critic)، وهو نموذج يقيّم مدى جودة الحالة الحالية. والناقد غير مستقر، لذلك تُضاف إليه إشارات من شاشات متشابهة بصريًا من عمليات تشغيل متوازية. أما الطريقة القريبة GiGPO فتحسب متوسط النتائج للحالات المتطابقة تمامًا فقط. وفي التطبيقات الحية يكاد هذا التطابق لا يحدث، فتتقلص المجموعات إلى حالات منفردة.

مئات أجهزة iPhone الافتراضية والنتائج

يتطلب التدريب على أجهزة حية بنية تحتية خاصة. يستخدم المؤلفون أجهزة iOS افتراضية سحابية تُدار عبر VNC: النقر، والتمرير، وإدخال النص، والضغط المطوّل. يُعدّ كل جهاز مرة واحدة، فتُثبَّت التطبيقات ويُسجَّل الدخول إلى Apple ID وتُحفظ لقطة للجهاز الافتراضي. وبعد كل حلقة تدريب يُعاد النظام إلى اللقطة المحفوظة بدلًا من إعادة تشغيله، وهذا يستغرق نحو 10 ثوانٍ. وخلال التدريب تعمل 512 مسارًا في وقت واحد، ولكل منها جهازه الخاص. وبحسب المؤلفين، هذا أول تدريب لوكلاء الواجهات بهذا الحجم يجري بالكامل على أجهزة iOS حية وتطبيقات حقيقية.

نقطة البداية: Qwen3-VL-8B-Instruct بعد ضبطها الدقيق على تسجيلات بشرية. واستُخدمت مجموعتا بيانات خاصتان بالفريق (تطبيقات Apple وتطبيقات الأطراف الثالثة) ومجموعة GUIOdyssey العامة. وتحتوي الأخيرة على تطبيقات Android، لكن فيها مهام للتبديل بين عدة تطبيقات، وهي غير موجودة في بيانات iOS.

ما أظهرته القياسات على UINavBench وiOSWorld وAndroidWorld:

• تفوّق الوكيل بوضوح على خطَّي الأساس كليهما: الضبط الدقيق على العروض التوضيحية، والتعلّم بمكافأة في النهاية فقط؛
• المكافآت الكثيفة وGiGPPO تسرّعان تقارب التدريب؛
• على AndroidWorld، الذي لم يُدرَّب عليه وكيل iOS، ترتفع نسبة النجاح بنحو سبعة أضعاف مقارنة بالضبط الدقيق المعتاد؛
• على UINavBench تفوّق الوكيل على Qwen3.8-27B وGemini 3.5 Flash وعادل Gemini 3.1 Pro.

ما الذي يعنيه هذا عمليًا

يشير النمو بسبعة أضعاف على Android إلى أن الوكيل تعلّم أساليب تنقل عامة، لا مسارات تطبيقات iOS بعينها. وهذه إشارة للشركات التي تبني مساعدات للجوال: نموذج مدمج، قد يصلح للتشغيل على الجهاز نفسه، يمكن أن يقترب من مستوى النموذج الرائد إذا دُرّب في بيئات حية مع تغذية راجعة لكل خطوة.

وهناك تحفظات. فالنتائج مستمدة من اختبارات قياسية (benchmarks)، والحَكَم في التدريب نفسه نموذج لغوي، أي أن جودة المكافآت تتوقف عليه. كما أن الأمر يتطلب أسطولًا كبيرًا من الأجهزة الافتراضية. لكن الوصفة واضحة: فصل التخطيط عن الربط بالشاشة، والمكافأة على التقدم لا على النتيجة النهائية وحدها، والتعلّم على تطبيقات حقيقية.