SAAG: منهج تشخيص من ثلاث مراحل لأخطاء استدعاء الدوال لدى وكلاء الذكاء الاصطناعي
نُشرت على arXiv في يوليو 2026 ورقة بحثية بعنوان SAAG، وهي منهج متتابع (Cascade) لتقييم استدعاء الدوال لدى وكلاء الذكاء الاصطناعي. فبدل درجة واحدة من نوع «صحيح/خاطئ»، يقسّم المنهج الفحص إلى ثلاث مراحل: المطابقة لسجل الأدوات، والاكتمال البنيوي للاستدعاء، وسلامة تأسيس الوسائط (Arguments) على البيانات المصدرية. تقدّم كل مرحلة تشخيصًا مستقلًا، ويرشد هذا التشخيص النموذج أيضًا إلى ما ينبغي إصلاحه، دون أن يكشف له الإجابة الصحيحة. وعلى النماذج المحلية التي يقل حجمها عن 4 مليارات معامل، يقلّل المنهج من «هلوسة» قيم الوسائط.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.AI؛ بتحرير Hamidun News
ظهرت في يوليو 2026 على arXiv ورقة SAAG (Structured Agent Assessment and Grounding)، وهي منهج تقييم متتابع يقسّم فحص استدعاء الدوال لدى وكلاء الذكاء الاصطناعي إلى ثلاث مراحل متعاقبة، ويقدّم لكل مرحلة تشخيصًا منفصلًا للخطأ بدل درجة ثنائية واحدة.
ما المشكلة في التقييم الثنائي
يرى مؤلفو SAAG أن تقييم استدعاء الدوال بالمطابقة التامة (exact-match) يُخفي أنواعًا مختلفة جوهريًا من الإخفاقات. فقد يختار النموذج الدالة الصحيحة لكنه «يهلوس» قيم الوسائط، أو يستوفي مخطط الاستدعاء شكليًا بينما يختار الأداة لسبب خاطئ.
تختزل المعايير المرجعية الحالية (Benchmarks) كل هذه الحالات في درجة واحدة من نوع «صحيح/خاطئ». والنتيجة أن المهندس يرى أن الوكيل أخطأ، لكنه لا يعرف في أي مرحلة تحديدًا: في اختيار الأداة، أم في بنية الاستدعاء، أم في تعبئة الوسائط. وبالنسبة إلى الوكلاء الذين يستدعون دوالّ خارجية في بيئة الإنتاج، فهذا العمى بالغ الخطورة، إذ لا يوجد ما يمكن إصلاحه بدقة من دون تقسيم الفحص إلى مراحل.
كيف يعمل SAAG
يقسّم SAAG الفحص إلى ثلاث مراحل متعاقبة، وتقدّم كل مرحلة تشخيصًا قابلًا للتفسير. ووفقًا لملخص الورقة على arXiv، تعمل المراحل بصورة متتابعة، من العام إلى الخاص.
- المرحلة 1 — registry conformance: هل تطابق الأداة المستدعاة سجل الوكلاء المتاحين
- المرحلة 2 — structural completeness: هل بنية الاستدعاء صحيحة، وهل جميع الحقول الإلزامية موجودة
- المرحلة 3 — argument grounding: هل قيم الوسائط مستندة إلى البيانات المصدرية، لا مختلَقة
- بُني المعيار المرجعي على مجموعة بيانات استدعاء الدوال (function-calling) من شركة Glaive
- ثلاثة أحجام للسجلات — 5 و10 و15 وكيلًا
أبرز ما يميّز المنهج هو الإصلاح الذاتي التكراري (self-repair). فعند وقوع خطأ، تُرشد إشارةُ المرحلة المعنية النموذجَ إلى ما ينبغي تصحيحه، دون أن تكشف له الإجابة الصحيحة (ground-truth)، منعًا للتسرّب ولتكييف الإجابة على نحو يوافق المطلوب.
ماذا أظهرت الاختبارات
يرفع التغذية الراجعة المنظَّمة والمرحلية دقة الوسائط باستمرار، ويقلّل «هلوسة» قيمها، مقارنةً بالمحاولة الواحدة دون تغذية راجعة، وبالتغذية الراجعة الثنائية غير المفيدة من نوع «صحيح/خاطئ». وقد أُجري الاختبار على ثلاثة نماذج محلية يقل حجم كل منها عن 4 مليارات معامل.
وفي المقابل، يصف المؤلفون مكسب الجودة النهائي من الطرف إلى الطرف (end-to-end، بمقياس F1) بأنه متواضع ويعتمد على النموذج المعيّن. أي أن التشخيص المرحلي يساعد بوضوح على مستوى الوسائط، لكنه لا يحقق قفزة كبيرة في الدقة الإجمالية لكل النماذج وكل أحجام السجلات دفعة واحدة.
«التقييم التشخيصي المرحلي عدسة ضرورية لفهم موثوقية استدعاء الوكلاء
وتحسينها»، بحسب ملخص الورقة على arXiv.
ماذا يعني ذلك
بالنسبة إلى الفرق التي تبني وكلاء ذكاء اصطناعي على نماذج محلية صغيرة، لا يكتفي SAAG بحكم «اجتاز/لم يجتز»، بل يقدّم خريطة تبيّن أين ينكسر استدعاء الأداة تحديدًا. وهذا يجعل تنقيح أخطاء الوكلاء أكثر تحديدًا، خصوصًا حين يكون المطلوب خفض «هلوسة» الوسائط دون إعادة تدريب النموذج ودون تسرّب الإجابات المرجعية.
أسئلة شائعة
ما هو SAAG؟
SAAG (Structured Agent Assessment and Grounding) منهج تشخيصي لتقييم استدعاء الدوال لدى وكلاء الذكاء الاصطناعي، مقسَّم إلى ثلاث مراحل: المطابقة للسجل، والاكتمال البنيوي، وتأسيس الوسائط على البيانات المصدرية. ويُصدر إشارة منفصلة لكل مرحلة بدل درجة إجمالية واحدة.
بماذا يختلف SAAG عن المعايير المرجعية المعتادة؟
تعطي المعايير المرجعية المعتادة تقييمًا ثنائيًا من نوع «صحيح/خاطئ» ولا تبيّن في أي مرحلة أخطأ الوكيل. أما SAAG فيفصل الأخطاء بحسب المراحل، ويتيح للنموذج فوق ذلك تصحيحها تكراريًا دون الاطلاع على الإجابة الصحيحة.
على أي نماذج اختُبر SAAG؟
اختُبر المنهج على ثلاثة نماذج محلية يقل حجم كل منها عن 4 مليارات معامل، وعلى معيار مرجعي مبني على مجموعة بيانات Glaive، مع سجلات تضم 5 و10 و15 وكيلًا متاحًا.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.