agent-desktop أنجز 26 من 35 مهمة على Mac، وcua أنجز 33، وCodex أنجز 34

نشر @argofowl على X مقارنة قصيرة بين ثلاث أدوات تتحكم بالحاسوب بدلًا من الإنسان: agent-desktop وcua وميزة computer use في Codex. شغّل الأدوات الثلاث على جهاز Mac الخاص به، وأعطاها مجموعة المهام نفسها المؤلفة من 35 مهمة. جاءت النتيجة كالتالي: أنجز agent-desktop مع Opus 5.5 عدد 26 مهمة، وأنجز cua مع Opus 5.5 نفسه 33 مهمة، وأنجز Codex مع Terra 6.1 عدد 34 مهمة. المنشور لا يتجاوز بضعة أسطر ولا يرقى إلى دراسة، لكن الأرقام محددة بما يكفي لتحليلها.

ثلاث أدوات ونتائجها

agent-desktop (Opus 5.5) أنجز 26 مهمة من 35، أي نحو 74%. وبقيت تسع مهام دون إنجاز. يذكر الكاتب ثلاثة أنواع من الإخفاق: السحب والإفلات (drag)، والنقر على canvas، وتمرير قائمة ضخمة. نهاية العبارة في المنشور مقطوعة، ولذلك لا يمكن الحديث عن الأسباب. يُفهم من السياق أن الحديث يخص agent-desktop تحديدًا، لكن النص نفسه لا ينص على ذلك صراحة.

cua (Opus 5.5) أنجز 33 مهمة من 35، أي نحو 94%. وأخفق في مهمتين، ولا يذكر الكاتب أيّ مهمتين هما.

ميزة computer use في Codex (Terra 6.1) سجّلت أفضل نتيجة: 34 مهمة من 35، أي نحو 97%. وبقيت مهمة واحدة غير منجزة، ولم تُوصف هي الأخرى.

الفارق بين المركز الأول والأخير 8 مهام. وبين agent-desktop وcua يبلغ 7 مهام مع النموذج نفسه Opus 5.5. وهذا أكثر أجزاء المقارنة دلالة، إذ يتبيّن منه أن النتيجة النهائية لا تتوقف على النموذج وحده، بل تتأثر أيضًا بالطبقة المحيطة به. تحدد هذه الطبقة كيف يرى الوكيل الشاشة، وكيف يصوغ الإجراءات، وكيف يمرّرها إلى النظام.

أصعب المهام

أنواع المهام الثلاثة التي أخفق فيها agent-desktop شائعة لدى الوكلاء الذين يعملون مع الواجهات الرسومية. يتطلب السحب والإفلات تسلسلًا دقيقًا: ضغط ثم تحريك ثم إفلات، وأي تأخير أو إحداثية غير دقيقة يفسد العملية. أما النقر على canvas فصعب لأن اللوحة لا تحتوي على عناصر واجهة مألوفة لها أسماء وأدوار، فيضطر الوكيل إلى الاعتماد على البكسلات. وتمرير قائمة ضخمة مهمة تختبر الصبر: عليه أن يتصفح دون أن يفقد موضعه ودون أن يدور في حلقة مفرغة.

من المهم هنا أن نقولها بوضوح: المنشور لا يشرح لماذا أخفق agent-desktop تحديدًا. فقد تكون الأسباب قيودًا في الأداة نفسها، أو في طريقة الإدخال، أو في معالجة لقطات الشاشة، أو في الإعدادات. أما القول إن «السحب واللوحات نقطة ضعف» فيمكن اعتباره فرضية، لا حقيقة ثابتة.

ما الذي يمكن استخلاصه من الاختبار وما لا يمكن

البيانات شحيحة لا تسمح باستنتاجات كبيرة. أولًا، العينة صغيرة: 35 مهمة وحاسوب واحد. وكل إخفاق إضافي يزيح النتيجة بنحو 3 نقاط مئوية. لذلك فإن الفرق بين 33 و34 مهمة لدى cua وCodex يقع ضمن هامش الضوضاء، ولا يجوز اعتبار Codex المتصدر بلا منازع. ثانيًا، لا نعرف كم مرة شُغّل كل إعداد. ثالثًا، لم تُكشف تركيبة المهام، وبالتالي لا يمكن إعادة الاختبار. رابعًا، يعمل Codex بنموذج مختلف هو Terra 6.1، ولذلك لا تعزل مقارنته مع cua وagent-desktop أثر الأداة. والمقارنة النظيفة بين الأدوات المغلِّفة للنموذج لا تتحقق إلا بين agent-desktop وcua، لأنهما يتشاركان Opus 5.5.

أما الخلاصة العملية لمن يختار أداة لأتمتة الواجهات فتطبيقية إلى حد بعيد. إذا كانت سيناريوهاتكم تشمل السحب والإفلات، أو العمل على لوحة canvas، أو القوائم الطويلة، فاختبروها تحديدًا قبل الاعتماد على الأداة. فالادعاءات العامة بأن الوكيل «يستطيع التحكم بالحاسوب» لا تغطي عادةً هذه الحالات. ومجموعة خاصة بكم من 30–50 مهمة نموذجية، تُشغَّل على جهاز العمل لديكم، ستخبركم أكثر من نتائج الآخرين. ويفيد منشور @argofowl كمثال على هذا النهج، وكإشارة إلى أن التفاوت بين الأدوات المغلِّفة للنموذج الواحد قد يصل إلى سبع مهام من خمس وثلاثين.

حصد المنشور نحو 5 آلاف مشاهدة، أي إنه ظل ملاحظة لدائرة ضيقة. ولو نشر الكاتب قائمة المهام وتفاصيل الإخفاقات، لارتفعت قيمة المقارنة كثيرًا.