Vercel تطلق agent-desktop: وكلاء يتحكمون بأي تطبيق دون لقطات شاشة

إذا جربت أتمتة تطبيق سطح مكتب عبر نموذج يعتمد على لقطات الشاشة، فأنت تعرف المعاناة: بطء وتكلفة عالية وهشاشة. أي بكسل منزاح أو تغيير في السمة، فيخطئ الوكيل الزر. تقترح Vercel Labs طريقاً مختلفاً: agent-desktop، أداة لا تنظر إلى الصورة أصلاً.

كيف تعمل

نظام التشغيل يعرف أصلاً ما الموجود على الشاشة. فلقارئات الشاشة لديه شجرة إمكانية الوصول (accessibility tree): شجرة عناصر بأدوارها وأسمائها وحالاتها والتركيز. في macOS هي AX API، وفي Windows هي UI Automation، وفي Linux هي AT-SPI. تقرأ agent-desktop هذه الشجرة وتسلّم الوكيل ملف JSON يحمل كل عنصر فيه معرّف ref.

الحلقة بسيطة. يطلب الوكيل الشجرة، ويجد الزر المطلوب، وينقر عبر ref الخاص به، ثم يعيد قراءة الشجرة ويتحقق من نجاح الإجراء. فمثلاً بدلاً من «انقر تقريباً عند النقطة 540×320» يقول الوكيل «اضغط ref e12، إنه زر إرسال» ويتأكد من أن حقل الإدخال قد فرغ.

في الداخل ملف تنفيذي واحد بلغة Rust بحجم نحو 15 ميغابايت ودون أي اعتماديات. يُثبَّت بالأمر npm install -g agent-desktop. فيها 60 أمراً متطابقة على المنصات الثلاث، وكل أمر يطبع JSON وينتهي. لا يوجد نموذج لغوي (LLM) داخلها: حلقة «نظر، نفّذ، تحقق» تعيش في وكيلك. الترخيص Apache-2.0، وهناك أيضاً skill يقرؤه الوكيل قبل العمل. أما مع Electron وChromium فتفتح الأداة منفذ DevTools الذي يتصل به agent-browser بالفعل.

المشكلة الرئيسية: السياق

الشجرة الكاملة للتطبيق ضخمة. فقد يتجاوز تفريغ Slack بسهولة 50 000 رمز (token)، فيغرق الوكيل قبل النقرة الأولى. لذلك يؤخذ أولاً «هيكل» بعمق مستويين تقريباً، ولا يُفتح إلا الفرع المطلوب. بحسب المؤلف، يوفر ذلك 78–96% من الرموز على Slack وVS Code وNotion. هذه أرقام المؤلف ولم يتحقق منها أحد بشكل مستقل حتى الآن، فقِس بنفسك على تطبيقك.

وتاريخ المشروع لافت أيضاً. بدأ كعمل مطوّر واحد مستوحى من agent-browser، والآن تصدر الأداة تحت علامة Vercel Labs وتوجد في وثائقها. إما أنه جرى توظيف الشخص وإما أن المشروع اشتُري. مسار كلاسيكي في المصدر المفتوح.

القيود

القيد الرئيسي ينبع من الفكرة نفسها: إذا كان التطبيق لا ينشر شجرة إمكانية الوصول، فالوكيل لا يراه. ستفوته عناصر التحكم المخصصة والألعاب وبعض إصدارات Electron التي عُطّلت فيها إمكانية الوصول. وفي Windows هناك فخ إضافي: إذا شُغّلت النافذة بصلاحيات مرتفعة، فستصطدم الأداة بسياسة الأمان.

هذا مهم بشكل خاص لبرمجيات الشركات. ففي 1C وبرامج المحاسبة والعملاء الداخلية تكون الحاجة إلى الأتمتة أكبر، بينما دعم إمكانية الوصول فيها غالباً في مراحله الأولى. أما التصريحات الصاخبة عن موت RPA فينبغي تلطيفها بالمنطق السليم: تأكد أولاً من أن تطبيقك يوفر الشجرة أصلاً.

ماذا تفعل عملياً

التشبيه بـ Playwright دقيق: بنية بدلاً من بكسلات. إذا كانت لديك أنظمة سطح مكتب داخلية، فخصص ساعة لاستعراض شجرة إمكانية الوصول فيها عبر agent-desktop. إن كانت غنية، فستحصل على أتمتة أرخص وأكثر استقراراً بوضوح من computer use على لقطات الشاشة. وإن كانت فارغة، تبقى لقطات الشاشة خياراً احتياطياً.

وعلى مديري المنتجات والمؤسسين ملاحظة أمر آخر: الأداة غير مرتبطة بإطار وكيل بعينه. إنها مجرد CLI يمكن ربطها بأي وكيل، وهذه قوتها. ابدأ بمهمة روتينية واحدة، مثل تصدير تقرير من عميل قديم، وقارن تكلفة الرموز (tokens) ونسبة التشغيلات الناجحة بنهجك الحالي.

هذه ليست نهاية RPA، لكنها خطوة جدية: أصبح لدى الوكلاء طريقة رخيصة وقابلة للنقل لرؤية الواجهة كما يراها النظام نفسه.