OpenDS-World: أفضل وكيل ذكاء اصطناعي حلّ 39% من مهام البحث العميق على الويب الحي

تعلّمت وكلاء Deep Search الإجابة عن الأسئلة بكفاءة على مجموعات وثائق ثابتة، لكن الإنترنت الحي مختلف. يقترح فريق OpenDS اختبار الوكلاء في البيئة التي سيعملون فيها فعلًا، ويطلق معيار OpenDS-World المؤلف من 200 مهمة معقدة. والنتيجة تدعو إلى التواضع: من بين 12 نموذجًا من فئة frontier خضعت للاختبار، بلغت دقة أفضلها 39,0%. أما البشر فسجّلوا 21,1% في 1000 محاولة مستقلة.

لماذا لم تعد الاختبارات الثابتة تعكس الواقع

اعتمد معظم تقييمات deep search السابقة على مجموعة نصوص ثابتة أو على بحث مبسّط. أما على الويب الحقيقي فالوضع أصعب: فالحقائق المطلوبة موزعة على مصادر مستقلة، وتوجد في وسائط وصيغ ملفات مختلفة، وأحيانًا لا يمكن الوصول إليها إلا عبر التفاعل مع الصفحة. يجب النقر والتمرير وفتح المرفقات واستخراج البيانات من المستندات ومطابقتها بعضها مع بعض.

لذلك يصوغ المؤلفون مهمة OpenDS بوصفها بحثًا متعدد الخطوات على الشبكة الحية. يبحث الوكيل بنفسه عبر محرك البحث، ويعمل مع المتصفح، ويعالج الأدلة التي يعثر عليها، ويربط الأجزاء المتفرقة من عدة مصادر، ثم يلتزم في النهاية بتقديم إجابة واقعية واحدة. لا مجال لعبارات مثل «تقريبًا» أو «على الأرجح»: يجب أن تكون الإجابة واضحة وقابلة للتحقق.

كيف صُمّم OpenDS-World

يتكوّن المعيار من 200 مهمة. وتغطي هذه المهام وسائط معلومات مختلفة، وصيغ ملفات متباينة، وسيناريوهات يتطلب فيها الوصول إلى البيانات إجراءات تفاعلية. وقد راجع بشر كل مهمة بصورة مستقلة للتأكد من أن سلسلة الأدلة صحيحة وأن الإجابة وحيدة. وهذا شرط جوهري لأي معيار يعمل على الويب الحي، فإذا كان للسؤال عدة إجابات صحيحة فقد المقياس معناه.

شُغّلت النماذج الـ12 جميعها في بيئة متطابقة: مجموعة أدوات واحدة وبروتوكول تنفيذ واحد. لذا تعكس الفروق في النتائج جودة الوكلاء أنفسهم، لا جودة الأدوات المحيطة بهم.

أبرز معطيات الدراسة:

• 200 مهمة مع تحقق بشري مستقل
• 12 نموذجًا من فئة frontier في بيئة موحدة
• أفضل نتيجة لنموذج: دقة 39,0%
• التقييم البشري: 1000 محاولة مستقلة، بدقة 21,1%
• تحليل وفق أربعة محاور: استخدام الأدوات، وتكلفة البحث، والسلوك عند الإنهاء، والتعافي بعد الأعطال

أين يتعثر الوكلاء

أكثر أجزاء الدراسة إثارة للاهتمام ليس الرقم النهائي، بل تحليل السلوك. قارن المؤلفون كيف تستخدم النماذج الأدوات، وكم تنفق على البحث، ومتى تقرر التوقف، وكيف تخرج من الطريق المسدود بعد خطوة فاشلة. وتبيّن أن استراتيجيات البحث تختلف كثيرًا بين النماذج. فبعضها يتعمق في المصادر، وبعضها يعيد صياغة الاستفسارات في كثير من الأحيان، وبعضها يستسلم مبكرًا جدًا، أو على العكس يواصل البحث دون أي فرصة للوصول إلى نتيجة.

وهناك نقطتا ضعف مشتركتان. الأولى تنسيق الأدوات: يجب ربط البحث والمتصفح ومعالجة الملفات في سلسلة متماسكة، وعند نقاط الوصل يفقد الوكلاء المعلومات. والثانية إدارة الأفق الطويل. فحين تتطلب المهمة عشرات الخطوات، يمتد الخطأ الذي يقع مبكرًا حتى النهاية، ولا تعمل آلية التعافي دائمًا.

تتطلب المقارنة بين 39,0% و21,1% حذرًا: فشروط البشر والوكلاء تختلف في الوقت والقيود والاعتياد على العمل مع الواجهات. لكن كون المهام صعبة على الطرفين يدل على ارتفاع سقف المعيار. فهو ليس اختبارًا للمعلومات العامة، بل اختبار لتحمّل البحث والانضباط فيه.

ما الذي ينبغي تغييره في خطوط عمل الوكلاء الآن

يقدّم OpenDS-World مرجعًا عمليًا للفرق التي تبني وكلاء research. أولًا، لم يعد تقييم المنتج على مجموعات ثابتة كافيًا: يلزم اختبار على الشبكة الحية بمحتوى غير ثابت ووصول تفاعلي. ثانيًا، ينبغي توسيع المقاييس. فالدقة دون احتساب تكلفة البحث وعدد الخطوات تُخفي ثمن كل إجابة صحيحة. ثالثًا، تصبح سياسات التوقف والتراجع حاسمة: يجب أن يدرك الوكيل متى يغيّر استراتيجيته ومتى يقرّ بعدم وجود أدلة.

وبالنسبة إلى مطوري النماذج، يتحول المعيار إلى أداة تشخيص. فهو يبيّن أين تحديدًا تضيع الجودة: في اختيار المصدر، أم في التعامل مع الملف، أم في تخطيط سلسلة طويلة. وهناك سيتعين توجيه الجهود إذا أريد للوكلاء أن يتوقفوا عن كونهم عرضًا توضيحيًا وأن يصبحوا أداة عمل للباحث.