تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارHabr AI→ المصدر

EvoNova Labs تفتح مصدر معيار «فوضى» يضم 10 أعطال تصيب وكلاء الذكاء الاصطناعي العاملين على مدار الساعة

قد ينهار وكيل يجيب بامتياز في الاختبارات بعد أربع ساعات من العمل المتواصل على مدار الساعة: تتسرب الذاكرة، وتتوالى أخطاء 429/503 من البوابة، وتتكرر عملية دفع بعد إعادة التشغيل. وصفت EvoNova Labs عشرة أعطال من هذا النوع (F01–F10)، ونشرت معيارًا مكتوبًا بلغة Python الخالصة يشغّلها في أجزاء من الثانية. لذلك ينبغي إدراج فحص متانة الوكيل في CI بصورة منفصلة عن تقييم جودة الإجابات. يتضمن المعيار أمثلة محددة على ما يفحصه. ففي F07 يتحقق الاختبار من أن الأثر الجانبي يُنفَّذ مرة واحدة بالضبط بعد إعادة التشغيل. وفي F09 يمنع فحص AST الالتفاف على بيئة العزل قبل تشغيل الكود.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
EvoNova Labs تفتح مصدر معيار «فوضى» يضم 10 أعطال تصيب وكلاء الذكاء الاصطناعي العاملين على مدار الساعة
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
F07بعد إعادة التشغيل ينفَّذ الأثر الجانبي مرة واحدة بالضبط
F09فحص AST يحظر الالتفاف على بيئة العزل قبل تشغيل الكود
حقيقة رئيسية #3الترخيصان MIT وCC0-1.0، والاختبارات تعمل في GitHub Actions على Python 3.11 وPython 3.12

عندما ينتقل نموذج أولي لوكيل ذكي من الحاسوب المحمول إلى بيئة إنتاج تعمل على مدار الساعة، تتوقف مقاييس الجودة المعتادة عن الإجابة عن السؤال الجوهري: هل سيصمد النظام؟ فقد يستدل النموذج بإتقان في استدعاء واحد، ثم تنهار حلقته بعد أربع ساعات من العمل المتواصل: تمتلئ الذاكرة، ويبدأ المزوّد بالرد بأخطاء 429 و503، ويعلق الوكيل في حلقة استدعاء أداة، أو يكرر بعد إعادة تشغيل طارئة عملية نُفِّذت فعلًا. جمع فريق EvoNova Labs هذه الأعطال في تصنيف F01–F10، وفتح مصدر معيار يمكن تشغيله في CI لديكم.

تنبيه مهم: هذه مادة من مؤلفي الأدوات أنفسهم، وليست دراسة مستقلة. ولا يتضمن النص أرقامًا نهائية لمقارنة الوكيل «الساذج» بالوكيل «المحصَّن»، لذا ينبغي التعامل مع المجموعة بوصفها قائمة مراجعة جاهزة وقالبًا للاختبارات، لا معيارًا مثبتًا.

عشرة أعطال لا تلتقطها مجموعات التقييم المعتادة

يستند المؤلفون إلى دراسة MAST (arXiv:2503.13657): ففي أكثر من 1600 مسار لعمل متعدد الوكلاء، لم تنشأ نسبة كبيرة من حالات الفشل عن ضعف النموذج، بل عن نقطة التقاء معمارية بيئة التشغيل بالإفراط في مجاملة الوكلاء بعضهم بعضًا وغياب فحص صارم للحدود. ودمجوا هذا التصنيف مع OWASP Top 10 for Agentic Applications (2026) فخرجوا بمصفوفة في مستودع awesome-autonomous-agent-resilience:

  • F01–F03 — تدهور السياق، وأخطاء 429/503، والدوران في حلقات مفرغة. الأعراض: فقدان موجّه النظام، وسقوط العامل (worker)، واستنزاف الميزانية. الحماية: نافذة منزلقة تحتفظ بنواة التعليمات، وقاطع دائرة (Circuit Breaker) ثلاثي المراحل، وسقف لعدد الخطوات.
  • F04–F06 — المجاملة المفرطة، والحقن، والصلاحيات الزائدة. يختلق الوكيل معاملات، أو يسرّب أسرارًا، أو ينفّذ DROP غير مصرّح به. الحماية: مدقّق حتمي، ورسم سببي بياني، وعزل للبيانات، وتأكيد بشري للإجراءات الخطرة.
  • F07–F08 — الموت المفاجئ للعملية، والإنهاء بسبب نفاد الذاكرة. النتيجة: خصم أو إرسال مزدوج، وارتفاع RSS حتى SIGKILL. الحماية: سجل نوايا على SQLite WAL (PENDING → COMMITTED) وذاكرة تخزين LRU محدودة الحجم.
  • F09–F10 — هروب الكود المولَّد من بيئة العزل، وهلوسة العروض التجارية، كخصم 99% موعود. الحماية: مفتّش AST ساكن قبل التنفيذ، وتحقق صارم من مخطط السياسة.

كيف يعمل المعيار

الملف benchmarks/resilience_bench.py مكتوب بلغة Python 3.11+ الخالصة دون أي تبعيات خارجية، ويشغّل السيناريوهات العشرة كلها في أجزاء من الثانية. يضم تنفيذين مرجعيين: NaiveBaselineAgent، وهو حلقة ساذجة نموذجية، وHardenedReferenceAgent المزوَّد بالحمايات. الدرجة النهائية هي نسبة الثوابت (invariants) المجتازة بالمئة.

أمثلة على الفحوص. في F07 يعيد الاختبار خطوة ما قسرًا بمفتاح idempotency نفسه على SQLite بوضع WAL، ويتأكد من أن الأثر الجانبي الفعلي نُفِّذ مرة واحدة بالضبط لا مرتين. وفي F09 يحلل المفتّش الشجرة النحوية لمقطع مثل ().__class__.__base__.__subclasses__() ويحظره قبل تشغيل المفسّر.

أمر التشغيل: python -m benchmarks.resilience_bench --target compare --json report.json --badge badge.svg. يُنتج الأمر تقريرًا بصيغة JSON وشارة SVG لملف README. وعند المؤلفين يجري الاختبار في GitHub Actions على Python 3.11 وPython 3.12 مع كل commit.

بقية أدوات المنظومة

نشر المؤلفون حول المعيار مجموعة مكتبات بترخيص MIT، وبعض المواد بترخيص CC0-1.0.

sci-integrity-guard (الأمران sci-guard check وsci-guard omml) يفحص النصوص العلمية والتحليلية التي يكتبها الوكلاء. يقارن TableConsistencyGuard أرقام التجربة الواحدة عبر جداول مختلفة بهامش تسامح قابل للضبط، ويضع علامة ORPHANED_PROSE_METRIC على النسب المئوية «اليتيمة» في الملخص. ويستخرج CitationVerifier معرّفات DOI التي تحتوي أقواسًا ونقاطًا منقوطة بدقة، ويتحقق منها عبر CrossRef مع تحويل احتياطي إلى OpenAlex. ويصلح LatexToOmmlConverter القيم الحرفية التالفة مثل \x0crac بدلًا من \frac، ويحوّل المعادلات إلى صيغة Word OMML.

evonova-causal-guard يعالج الروابط السببية: رسوم بيانية موجَّهة CausalDAG، ومعامل التدخل، وخوارزمية d_separated (Bayes-Ball)، والبحث عن مجموعات التعديل وفق معيار الباب الخلفي لبيرل. وغايته منع الوكيل من اعتبار الارتباط سببًا. ويخزّن TabuMemory بصمات SHA-256 مع TTL ولا يسمح باقتراح ادعاءات سبق دحضها مجددًا، ويشغّل DebateArbiter مناظرات Proposer → Skeptic → Judge.

وتتألف طبقة وقت التشغيل من agent-bunker (سجل النوايا، ومراقبة RSS، وقواطع ثلاثية المراحل)، وorchestration-engine (تنسيق غير متزامن لموجات DAG وفق خوارزمية Kahn)، وagent-security-sandbox (اعتراض الاستيرادات الخطرة عبر AST)، وagentic-vector-memory (ذاكرة عرضية ذات اضمحلال أسّي).

ما الذي يستحق الأخذ

فكرة المؤلفين الرئيسية عملية: تولّد الشبكة العصبية الفرضيات والخطط، بينما يتولى غلاف حتمي خفيف سجلات الاسترداد وعزل الكود ومطابقة الأرقام والتحقق من الروابط. وإن كنتم ستطلقون وكيلًا في بيئة الإنتاج، فابدأوا بثلاثة أمور: مفاتيح idempotency لكل الإجراءات ذات الآثار الجانبية، وسقف للخطوات والميزانية، وفحص ساكن للكود المولَّد. ويصلح استخدام مصفوفة F01–F10 قائمةً لاختبارات الإجهاد الخاصة بكم، حتى لو لم تعتمدوا كود المؤلفين بالكامل.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول عشرة أعطال لا تلتقطها مجموعات التقييم المعتادة؟

يستند المؤلفون إلى دراسة MAST (arXiv:2503.13657): ففي أكثر من 1600 مسار لعمل متعدد الوكلاء، لم تنشأ نسبة كبيرة من حالات الفشل عن ضعف النموذج، بل عن نقطة التقاء معمارية بيئة التشغيل بالإفراط في مجاملة الوكلاء بعضهم بعضًا وغياب فحص صارم للحدود. ودمجوا هذا التصنيف مع OWASP Top 10 for Agentic Applications (2026) فخرجوا بمصفوفة في مستودع awesome-autonomous-agent-resilience: F01–F03 — تدهور السياق، وأخطاء 429/503، والدوران في حلقات مفرغة. الأعراض: فقدان موجّه النظام، وسقوط العامل (worker)، واستنزاف الميزانية.

ما أبرز التفاصيل حول كيف يعمل المعيار؟

الملف benchmarks/resilience_bench.py مكتوب بلغة Python 3.11+ الخالصة دون أي تبعيات خارجية، ويشغّل السيناريوهات العشرة كلها في أجزاء من الثانية. يضم تنفيذين مرجعيين: NaiveBaselineAgent، وهو حلقة ساذجة نموذجية، وHardenedReferenceAgent المزوَّد بالحمايات. الدرجة النهائية هي نسبة الثوابت (invariants) المجتازة بالمئة. أمثلة على الفحوص. في F07 يعيد الاختبار خطوة ما قسرًا بمفتاح idempotency نفسه على SQLite بوضع WAL، ويتأكد من أن الأثر الجانبي الفعلي نُفِّذ مرة واحدة بالضبط لا مرتين.

ما أبرز التفاصيل حول بقية أدوات المنظومة؟

نشر المؤلفون حول المعيار مجموعة مكتبات بترخيص MIT، وبعض المواد بترخيص CC0-1.0. sci-integrity-guard (الأمران sci-guard check وsci-guard omml) يفحص النصوص العلمية والتحليلية التي يكتبها الوكلاء. يقارن TableConsistencyGuard أرقام التجربة الواحدة عبر جداول مختلفة بهامش تسامح قابل للضبط، ويضع علامة ORPHANED_PROSE_METRIC على النسب المئوية «اليتيمة» في الملخص. ويستخرج CitationVerifier معرّفات DOI التي تحتوي أقواسًا ونقاطًا منقوطة بدقة، ويتحقق منها عبر CrossRef مع تحويل احتياطي إلى OpenAlex.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…