Tencent تدرّب Hy4 على التحكم بالكمبيوتر عبر واجهتين: GUI وCLI

تعديل الشيفرة، ثم فتح الصفحة والتأكد من أن الزر يعمل فعلًا، مهمة اعتيادية للمطور. لكن هذا التسلسل يتطلب من الذكاء الاصطناعي امتلاك قدرات متعددة في آن واحد: فهم الشيفرة، ورؤية الواجهة، واستخدام الأدوات. وقدّمت Tencent نموذج Hy4 الذي يستطيع، بحسب الشركة، فهم الصور والتفاعل مع الكمبيوتر عبر الواجهة الرسومية وسطر الأوامر. وتكمن الفائدة العملية هنا في اختبار عدد خطوات سير العمل التي يمكن إسنادها إلى وكيل واحد.

جرى الإطلاق في 4 نوفمبر. وأعلنت Tencent أيضًا إتاحة النموذج عبر منصة TokenHub السحابية. وترد تفاصيل قدرات التحكم بالكمبيوتر، والتدريب على التطبيقات الاحترافية، وخطط نشر الأوزان في إعلان Tencent الرسمي. وهذه تصريحات الجهة المطوّرة: تبرّر إجراء الاختبارات، لكنها لا تثبت بمفردها موثوقية النموذج في مهامكم.

ما الذي توفره طريقتا التحكم؟

تتكوّن الواجهة الرسومية من نوافذ وأزرار وقوائم وحقول إدخال. أما سطر الأوامر فيتيح تشغيل البرامج ومعالجة الملفات والحصول على نتائج تنفيذ الأوامر. وفي العمل الفعلي، نحتاج إلى الطريقتين: يسهل تنفيذ بعض الإجراءات ببرنامج نصي، بينما يتطلب التحقق من النتيجة معاينتها بصريًا داخل التطبيق.

لنأخذ سيناريو افتراضيًا: بعد إصلاح نموذج التسجيل، يجب التأكد من زوال الخطأ. يمكن للوكيل تشغيل المشروع عبر الطرفية، وفتح الصفحة، وملء الحقول، وفحص الرسالة الظاهرة على الشاشة. وإذا تعطّل النموذج مجددًا، فسيحتاج إلى السجلات وإجراء تعديل آخر على الشيفرة. هذا مثال على مهمة لاختبار Hy4، وليس عرضًا موثّقًا لأدائه.

لكن النموذج وحده لا يكفي. فلا بد من برنامج يرسل إليه صور الشاشة، وينفّذ الإجراءات التي يختارها، ويعيد إليه النتيجة. وتتوقف الأدوات المتاحة والصلاحيات ومعالجة الأخطاء على هذا البرنامج. لذلك، لا يعني وجود واجهة API أنكم ستحصلون، بعد الطلب الأول، على وكيل جاهز لتنفيذ المهام على الكمبيوتر.

ما الذي نعرفه وما الذي لا يزال ينقصنا؟

تقول Tencent إن Hy4 تلقّى تدريبًا خاصًا على استخدام Blender وبرامج CAD. وبالنسبة إلى الفرق التي تؤتمت البرامج الاحترافية، فهذا سبب لإدراج النموذج ضمن مقارنة الخيارات المرشحة. لكن ذكر تطبيق ضمن التدريب لا يجيب عن الأسئلة المتعلقة بإصدار محدد، أو بالمشروعات المعقدة، أو باستعادة سير العمل بعد إجراء فاشل.

في إعلانها الصادر في 4 نوفمبر، وعدت الشركة بنشر الأوزان وبطاقات النموذج خلال الأيام التالية. ولا تسمح هذه الصياغة باستنتاج أن الملفات قد نُشرت بالفعل وقت قراءة الخبر. وقبل نشر النموذج على بنيتكم التحتية، يجب التحقق بشكل منفصل من توافر الأوزان، وشروط الترخيص، ومتطلبات العتاد. فالوصول السحابي وإمكانية استضافة النموذج ذاتيًا خياران مختلفان بالنسبة إلى المنتج.

وثمة نقص آخر يتمثل في وجود تقييم مقارن لسير عملكم تحديدًا. فالقدرة المعلنة على النقر على الأزرار لا توضّح عدد المحاولات اللازمة لإتمام المهمة. وما يهم الشركات هو نجاح النتيجة، والوقت المستغرق، وتكلفة إعادة المحاولات، وعدد التدخلات البشرية. ومن دون هذه البيانات، لا يزال من المبكر احتساب الوفورات المتوقعة.

كيف تختبرون فائدته للفريق؟

سأبدأ بمهمة متكررة واحدة ذات نتيجة قابلة للتحقق. مثلًا، يتلقى الوكيل مشروعًا تجريبيًا، ويصلح خطأ معروفًا مسبقًا، ويعرض نموذج إدخال يعمل. ويجب أن تكون الشروط متطابقة بين Hy4 والنموذج الذي يستخدمه الفريق بالفعل: الملفات نفسها، والأدوات نفسها، والمهلة الزمنية نفسها، ومعايير الإتمام نفسها.

ينبغي تسجيل المحاولة كاملة، بما فيها الإجراءات الزائدة والتوجيهات البشرية. فقد تخفي لقطة شاشة نهائية ناجحة عدة عمليات إعادة تشغيل وتصحيحات يدوية. وهذا فارق مؤثر في المنتج: فالمستخدم يحتاج إلى نتيجة يمكن التنبؤ بها، والفريق يحتاج إلى معرفة واضحة بتكلفة الوصول إليها.

من المنطقي إجراء الاختبار الأول في بيئة اختبار منفصلة بصلاحيات محدودة. يتيح ذلك فحص طريقة استجابة الوكيل لنافذة غير متوقعة، أو أمر غير صحيح، أو ملف يتعذر الوصول إليه، بهدوء. وإذا كان Hy4 يُكمل التسلسل المختار باستمرار ويحتاج إلى تدخلات أقل، فسيكون هناك مبرر لتوسيع التجربة الأولية. وهذا بالضبط ما ينبغي معرفته بعد الإطلاق: ما العمل المحدد الذي يخففه النموذج فعليًا عن الفريق؟