WorkFactory: 112 ألف مهمة مكتبية ترفع Qwen من 879 إلى 1565 نقطة Elo

بنت مجموعة من الباحثين من جامعة الشعب الصينية ومعهد شنتشن للتكنولوجيا المتقدمة (SIAT) وجامعة شانغهاي جياو تونغ «مصنعًا» للمهام التدريبية لوكلاء الذكاء الاصطناعي الذين يؤدون أعمالًا مكتبية. جمع الفريق 112 686 مهمة لـ612 مهنة، ومرّرها على نموذج معلّم قوي، ثم أعاد تدريب Qwen على سجلات هذا النموذج. وكانت أفضل نتيجة أن تصنيف النسخة ذات 35 مليار معامل (منها 3 مليارات نشطة) في اختبار GDPval-AA v2.1 ارتفع من 879 إلى 1565 Elo. وGDPval-AA مجموعة من مهام العمل الحقيقية في مهن مختلفة. تنفّذ النماذج هذه المهام، ثم تُقارَن المستندات الجاهزة على شكل أزواج، ويُحسب تصنيف Elo من الانتصارات والهزائم، كما في الشطرنج.

لماذا تفسد المهمة السيئة التدريب؟

أكثر الطرق شيوعًا لتعليم الوكيل العمل هي أن يُعرض عليه حلّ ناجح لمهام سابقة. يحلّ نموذج قوي المهمة، وتُسجَّل خطواته، ثم يُدرَّب نموذج أصغر على هذه السجلات. وهذا يعني أن جودة التدريب تتوقف على جودة المهام نفسها.

يورد البحث مثالًا: وكيل يختار مورّدًا. توجد توقعات الطلب في ملف، وأسعار الموردين في ملف آخر. لكن لا يُذكر في أي مكان هل تدخل كلفة التوصيل في سعر أحد الموردين. ومن دون ذلك لا يمكن مقارنة التكلفة الإجمالية مقارنة منصفة. فإما أن يختلق المعلّم افتراضًا من عنده، وإما أن يترك العمل في منتصفه. وفي الحالتين يكون السجل ضعيف القيمة التعليمية.

ولا يمكن حل المشكلة بالطريقة المباشرة: فإن أُدرجت الحسابات الجاهزة في نص المهمة، لن يبقى ما يتعلمه الوكيل. المطلوب حدّ فاصل: أن تكون كل الشروط الأولية موجودة، وأن تبقى الحسابات والاستنتاجات على عاتق الوكيل.

كيف يعمل المصنع

تُجمع أولًا أفكار المهام المستقبلية من ثلاثة مصادر:

• أوصاف المهن والمواقف العملية؛ • وثائق المهارات، ومنها تُركَّب سلاسل العمليات؛ • مستندات عمل حقيقية: يُستنتج منها أي مهمة كان يمكن أن يطرحها العميل.

ثم يستبعد نموذج آخر الأفكار غير المنطقية أو التي لا تشبه العمل الحقيقي. بعد ذلك يُبنى لكل فكرة رسم بياني للدعم المعلوماتي. ويبدأ المخطِّط من النتيجة ويعود إلى الوراء: ما الحسابات والأحكام اللازمة للمستند النهائي، وما البيانات التي يحتاجها كل منها. ويُخصَّص لكل جزء من البيانات موضع: في نص الطلب، أو في ملف مرجعي، أو في مصدر خارجي، أو في النتيجة المستقبلية. أما كل ما يجب على الوكيل حسابه بنفسه فيبقى مخفيًا.

تُنشأ الملفات استنادًا إلى هذا الرسم البياني. وتفحص اختبارات آلية واختبارات يجريها نموذج آخر ما إذا كانت النتيجة تطابق الخطة. وتُستبعد المهام التي لا تجتاز الفحص بعد عدة محاولات.

التشغيل التجريبي والإصلاح

حتى بعد ذلك تبقى ثغرات في الملفات. لذلك يحاول وكيل تجريبي حل المهمة وهو لا يرى سوى الطلب والملفات، من دون الرسم البياني ولا الخطة. ويبلغ عن العوائق، ويميّزها عن أخطائه هو وعن الخيارات المشروعة. ولا يُصلَح إلا ما يعطّل التنفيذ.

يعدّل نموذج الإصلاح الطلب والملفات، لكنه لا يغيّر عددها ولا أنواعها ولا بنيتها. وفي مثال الموردين يضيف الشرط الناقص: تكلفة توصيل المورّد C هي 0,15 دولار للصندوق الواحد. ولا يجري الحساب بدلًا من الوكيل. ثم يُفحص التعديل مرة أخرى: هل بقي معنى العمل الأصلي؟ إن لم يبقَ، تُستبعد المهمة. وإن بقي، يبدأ تشغيل تجريبي جديد. وتنتهي الدورة حين لا تبقى عوائق أو حين تُستنفد حدود المحاولات.

تصل المهام التي اجتازت الفحص إلى معلّم مستقل هو GLM-5.3، وهو أيضًا لا يرى الرسم البياني ولا الخطة. وتُنقّى سجلاته من الاستدلالات المتكررة، واستدعاءات الأدوات الدائرية، والنتائج الفارغة. وبالنسبة إلى أطول 5% من مسارات التنفيذ، تُقارَن المستندات على شكل أزواج إضافيًا، وتُبقى الأفضل.

ماذا أظهرت التجارب

• دُرّبت ثلاثة نماذج من عائلة WorkPilot على أساس Qwen: 4B وَ27B وَ35B-A3B. وتفوقت الثلاثة على نسخها الأساسية في أربعة اختبارات للعمل المهني. • ارتفع WorkPilot-35B-A3B في GDPval-AA v2.1 من 879 إلى 1565 Elo. • بلغ WorkPilot-27B، بحسب التقييم المحلي للمؤلفين، 1612 Elo. وهذا ضمن نطاق النماذج المتقدمة المقارَنة. وقد أجرى المؤلفون هذا التقييم بأنفسهم، ولا يوجد تحقق مستقل منه حتى الآن. • يتباطأ النمو الناتج عن زيادة البيانات (حتى 110 آلاف مهمة)، ويختلف ذلك من نموذج إلى آخر. ويزداد طول مسار التنفيذ في البداية ثم يتقلص. • في المقارنات المضبوطة، قلّل كلٌّ من التخطيط والإصلاح عدد العيوب في المهام التي رصدها الوكيل التجريبي، وحسّنا الجودة النهائية.

ما الفائدة العملية

الخلاصة بسيطة للفرق التي تدرّب الوكلاء: كثرة المهام لا تضمن الجودة، ويجب التأكد من أن المهمة قابلة للحل أصلًا بالمواد المقدَّمة. ويؤدي التشغيل التجريبي في بيئة معزولة هنا دور الاختبار قبل الإصدار. وبالنسبة إلى الأعمال، هذه خطوة نحو نماذج صغيرة تؤدي مهام مكتبية بمستوى نماذج أكبر بكثير. وقد نشر المؤلفون جزءًا من المهام والبيانات والأوزان على GitHub (IQuestLab/WorkFactory). تنبيه: يستند تقييم الجودة في معظمه إلى اختبارات المؤلفين أنفسهم وإلى مقارنة المستندات بواسطة نماذج تعمل حَكَمًا، لذا سيكون الحاسم هو الاختبار على مهام يعدّها آخرون.