Fable مقابل 10 LLMs: من يتعامل بشكل أفضل مع god node من وكيل حقيقي

أجرى المؤلف من Habr في يوليو 2026 تجربة مفصلة: أخذ عقدة الله من وكيل LangGraph حقيقي يعمل وعقد بطولة على مرحلتين لـ 11 نموذج لغة — خمسة أمريكية وستة صينية، بما فيها Fable من Anthropic. بالإضافة إلى ذلك، طبق ثلاث طرق تحليل مستقلة لفهم من يمكن الثقة به من المشاركين.

لماذا عقدة الله اختبار عادل

في مشاريع LangGraph، عقدة الله هي عقدة أحادية الكتلة تتحمل الكثير من المسؤوليات: تحليل بيانات الإدخال، واتخاذ قرارات حول استدعاءات الأدوات، ومعالجة النتائج، وتشكيل الإخراج النهائي. تنمو مثل هذه العقد تدريجياً: في بداية المشروع، لا تزال حدود المسؤولية غير واضحة، وفيما بعد يصبح من المرعب تغيير العمارة — والعقدة تستمر في التوسع.

إعادة هيكلة عقدة الله هي مهمة لا يمكن للنموذج اللغوي أن يخمن فيها الإجابة "الصحيحة" بناءً على الأنماط الإحصائية. هنا تحتاج إلى فهم حقيقي للعمارة:

• فهم الرسم البياني بالكامل وإيجاد التبعيات المخفية بين العقد
• اقتراح مخطط تحلل محدد مع تبرير للحدود المختارة
• عدم انتهاك العقد الموجود: المدخلات والمخرجات والآثار الجانبية
• مراعاة خصائص LangGraph — نقل الحالة والحواف الشرطية ونقاط التوقف

بعيداً عن الفهم المعماري، تعتبر الحذر مهماً: إعادة هيكلة عقدة الله في كود الإنتاج تخاطر بلمس تبعيات غير متوقعة. نموذج يقترح "ببساطة تقسيمها إلى عدة وظائف" لا يفهم السياق — وخطته عديمة الفائدة عملياً.

استخدم المؤلف ليس مثالاً اصطناعياً، بل كودًا حقيقياً يعمل مع تاريخ حقيقي. هذا أمر حاسم: الكود الحقيقي يحتوي على عشوائية وحقايق تاريخية وتبعيات غير واضحة لا توجد في أمثلة الكتب المدرسية.

كيف عملت البطولة على مرحلتين

في المرحلة الأولى، تلقى كل من النماذج الـ 11 عقدة الله ومهمة: اقترح خطة تحلل محددة. من بين المشاركين الأمريكيين يأتي Fable، آخر نموذج من Anthropic في وقت النشر. مثل ستة نماذج صينية أكبر مختبرات الذكاء الاصطناعي في الصين.

في المرحلة الثانية، تلقى كل نموذج الاقتراحات من الآخرين عشرة وكان عليه تقييمها: إيجاد نقاط القوة والضعف في كل حل واختيار الأفضل وتبرير الاختيار. هذا يسمح بقياس مهارتين في نفس الوقت — القدرة على توليد الحلول المعمارية والقدرة على التحليل النقدي للآخرين.

التدقيق المتبادل هو تقنية غير قياسية من الناحية المنهجية. في المقاييس النموذجية، يتلقى النموذج مهمة وينتج إجابة، لكن من غير المعروف ما إذا كان يفهم ما هو الحل الجيد في هذا المجال. عندما يقيّم النموذج المنافسين، يصبح واضحاً كيف يتوافق فهمه للإجابة "الصحيحة" مع معايير الهندسة الحقيقية.

بعد جمع جميع الاقتراحات والتقييمات المتبادلة، طبق المؤلف ثلاث طرق تحليل مستقلة. تطابقت النتائج جزئياً وتباعدت جزئياً — وهذا بالضبط ما أصبح الاستنتاج الرئيسي للتجربة. من هنا جاء "موت الآلهة" في العنوان: النماذج الرائدة بأفضل سمعة لم تقدم نتائج متفوقة باستمرار. وفقاً للمؤلف، المقاييس الاصطناعية والكود الهندسي الحقيقي هما مهمتان مختلفتان، والقادة في واحدة لا يكونون دائماً قادة في الأخرى.

ما يعنيه هذا

الموضع على لوحات الترتيب العامة ينبئ بشكل سيء عن كيفية تعامل النموذج مع مراجعة الكود أو الاقتراحات المعمارية في مشروع معين. الفجوة بين "أفضل نموذج حسب التقييم" و"أفضل نموذج لمكدسك" يمكن أن تكون كبيرة.

الاستنتاج العملي: قبل تفويض القرارات التقنية إلى نموذج لغة معين — خاصة في مهام إعادة الهيكلة أو مراجعة العمارة — يستحق الأمر اختباره على مهام من الكود الحقيقي. صيغة مرحلتين مع التقييمات المتبادلة من هذه التجربة هي نموذج جيد لمثل هذا الاختبار: يكشف ليس فقط القدرات التوليدية، بل أيضاً الفهم النقدي للموضوع.