باحثون في SAP يعلّمون وكلاء الذكاء الاصطناعي عدم التذبذب بين حلول مختلفة للمهمة الواحدة

إذا طُلب من وكيل ذكاء اصطناعي مزوّد بأدوات (بحث، قواعد بيانات، واجهات برمجية) حلّ المهمة نفسها عدة مرات، فقد يتصرف بشكل مختلف في كل مرة: استدعاء وظائف مختلفة، تقديم إجابات متناقضة للمستخدم، أو الوصول إلى النتيجة عبر مسارات مختلفة. بالنسبة لروبوت محادثة عادي، هذا مجرد إزعاج بسيط، لكن بالنسبة لوكيل يتعامل مع بيانات طبية أو يكتب برمجيات على عدة خطوات، فإن هذا التذبذب يمثّل مشكلة جدية: فالخطأ في خطوة واحدة يتراكم ويحرف الحل بأكمله عن مساره.

لاحظ مؤلف الدراسة، هارشافاردهان أبيتشانداني من شركة SAP، أن أساليب تقييم الوكلاء الحالية تقيس تقريبًا أمرًا واحدًا فقط: هل حلّ الوكيل المهمة أم لا. أما استقرار السلوك - أي هل يتصرف الوكيل بالطريقة نفسها من تشغيل إلى آخر - فلم يكن يُطرح تقريبًا. وحتى خفض درجة حرارة التوليد (temperature) إلى الصفر، أي اعتماد النمط الحتمي، لا يحلّ المشكلة: فالاستجابات العشوائية من الأدوات أو البيئة، أو حتى تفاصيل تقنية بسيطة مثل دقة الحسابات على معالجات الرسوميات، تظل تزعزع سلوك الوكيل على المدى الطويل.

كيف تعمل طريقة RSD

الفكرة مستوحاة من نظرية التعلّم المعزّز، حيث يوجد مفهوم "التحاكي" (bisimulation) - وهو طريقة لمقارنة حالتين لنظام ما بناءً على تشابه سلوكهما المستقبلي، بدلًا من شكلهما الحالي. وقد عدّل المؤلف هذه الفكرة لتناسب الوكلاء الحواريين:

• يُشغَّل الوكيل مرتين متتاليتين من نفس نقطة المحادثة (نفس سجل الرسائل والإجراءات).
• في كل خطوة، تُقارن ليس النصوص، بل معنى استجابتَي الوكيل، باستخدام نموذج لتحليل التناقضات المنطقية (NLI)، يحدّد ما إذا كانت العبارتان متناقضتين أو متطابقتين في المعنى أو غير مرتبطتين ببساطة.
• يُجمع التباعد في الخطوة الحالية (بوزن متلاشٍ تدريجيًا) مع التباعد المتوقع في جميع الخطوات اللاحقة، فتنتج صيغة تكرارية تشبه طريقة حساب المكافأة المستقبلية الإجمالية في التعلّم المعزّز.
• وبما أنه يستحيل حساب هذا المجموع بدقة لنموذج لغوي (فهو يعمل كصندوق أسود، وفضاء المحادثات الممكنة ضخم للغاية)، يدرّب المؤلف شبكة عصبية مستقلة لتقدير هذا التباعد تقريبيًا، باستخدام طريقة التعلّم بالاختلافات الزمنية (TD-learning)، المشابهة لتعلّم دالة Q.

والنتيجة هي رقم واحد لكل حالة محادثة، يمثّل تقديرًا لمدى "قابلية التنبؤ" بسلوك الوكيل لاحقًا. فإذا كان الوكيل يختار دائمًا الأداة نفسها بالمعطيات نفسها (ولو بصياغة مختلفة)، يقترب التقدير من الصفر، أي أنه متّسق تمامًا. وإذا تذبذب الوكيل بين استراتيجيات مختلفة وتناقض مع نفسه، يرتفع التقدير.

والنتيجة العملية الأهم هي أن حساب هذا التقدير في مرحلة الاستدلال (inference) يحتاج إلى تمريرة واحدة فقط من النموذج، دون أي تشغيلات متكررة أو مقارنات أو استدعاءات لنموذج NLI. وهذا يعني إمكانية دمج تقييم الاستقرار في مسار عمل الوكيل دون أي عبء إضافي يُذكر.

ماذا أظهرت التجارب

اختبر المؤلف هذا النهج على نموذجي Qwen-2.5 بحجمي 3 و7 مليارات معامل، على معياري تقييم للوكلاء المزودين بأدوات: τ-bench وToolSandbox. ولكل مهمة، شُغّلت 8 محاولات مستقلة (على 8 نماذج اختبار، أي 64 مسارًا لكل معيار تقييم)، لقياس تباين السلوك بشكل دقيق.

استُخدمت RSD كإشارة مكافأة إضافية عند ضبط النماذج بطريقة GRPO (Group Relative Policy Optimization)، حيث يُعاقَب النموذج على ارتفاع التباعد بين تشغيلاته المتكررة الخاصة. وقُورنت النتائج بثلاثة أساليب بديلة:

• نموذج Qwen الأساسي دون ضبط؛
• الضبط عبر تقليل إنتروبيا الرموز (tokens) (الطريقة التقليدية لقياس "ثقة" النموذج من خلال توزيع الاحتمالات)؛
• الضبط عبر الإنتروبيا الدلالية (تجميع معنى إجابة واحدة دون مراعاة الخطوات المستقبلية)؛
• الضبط الدقيق الخاضع للإشراف التقليدي (SFT) على بيانات موسومة.

النتيجة: خفّض الضبط الدقيق باستخدام RSD معامل التباين (مقياس تباين النتائج بين التشغيلات) في كلا المعيارين τ-bench وToolSandbox، بنتائج مماثلة لتلك التي حققها SFT، لكن دون الحاجة إلى بيانات مرجعية موسومة. في الوقت نفسه، لم تتراجع نسبة نجاح حل المهام (نسبة الإنجاز وسرعة التقدم)، بل ارتفعت في بعض التكوينات.

لماذا يُعدّ هذا مهمًا

بالنسبة للفرق التي تبني وكلاء قائمين على النماذج اللغوية الكبيرة للاستخدام الفعلي، خصوصًا في المجالات التي يكون فيها ثمن الخطأ مرتفعًا (المالية، الطب، أتمتة العمليات الداخلية)، تُعدّ هذه الطريقة أداة تشخيصية عملية لمعرفة مدى قابلية التنبؤ بسلوك الوكيل قبل أن يفشل أمام مستخدم حقيقي. أما القيد الأساسي، فهو أن النهج لم يُختبر إلا على نماذج صغيرة نسبيًا (3 و7 مليارات معامل) ومعيارين محدّدين، لذا يبقى اختبار قابليته للتوسّع إلى نماذج أكبر وسياقات أكثر تنوعًا أمرًا مطلوبًا. وقد نُشر الكود مفتوح المصدر في مستودع RSD-agent-consistency على GitHub.