أي نموذج ذكاء اصطناعي هو الأفضل لوكلاء LLM: اختبار لـ 11 نموذجًا

أجرى أحد المطورين اختبارًا لـ 11 نموذجًا لغويًا (LLM) على مهمة حقيقية مأخوذة من وكيل LangGraph يعمل في بيئة العمل. شملت النماذج شبكات عصبية من شركات أمريكية وصينية، إضافة إلى Fable من Anthropic. واعتمد المطور ثلاث طرق تحليل مستقلة لمعرفة أي نموذج يتعامل بشكل أفضل مع المنطق المعقد للوكلاء.

لماذا يُعدّ god node اختبارًا نزيهًا

في مشاريع LangGraph، يُقصد بـ god node عقدة متراصة تتحمل مسؤوليات أكثر من اللازم: تحلل البيانات المدخلة، وتقرر استدعاء الأدوات، وتعالج النتائج، وتصيغ المخرجات النهائية. وتنمو هذه العقد تدريجيًا: ففي بداية المشروع لا تكون حدود المسؤولية واضحة بعد، ثم يصبح تغيير البنية مخيفًا، فتواصل العقدة التضخم.

إعادة هيكلة god node مهمة لا يستطيع فيها نموذج LLM تخمين الإجابة «الصحيحة» اعتمادًا على نمط إحصائي. فهي تتطلب فهمًا فعليًا للبنية:

• فهم الرسم البياني بأكمله واكتشاف التبعيات الخفية بين العقد
• اقتراح مخطط تفكيك محدد مع تبرير اختيار الحدود
• عدم الإخلال بالعقد القائم: المدخلات والمخرجات والآثار الجانبية
• مراعاة خصائص LangGraph: تمرير الحالة، والحواف الشرطية، ونقاط المقاطعة

وإلى جانب فهم البنية، تبرز أهمية الدقة: فإعادة هيكلة god node في شيفرة الإنتاج قد تمس تبعيات غير متوقعة. أما النموذج الذي يقترح «ببساطة التقسيم إلى عدة دوال» فلا يفهم السياق، وتكون خطته بلا فائدة عمليًا.

لم يستخدم المؤلف مثالًا اصطناعيًا، بل شيفرة عمل حقيقية ذات تاريخ حقيقي. وهذا أمر جوهري: فالشيفرة الواقعية تحتوي على مصادفات وآثار تاريخية وتبعيات غير بديهية لا وجود لها في الأمثلة التعليمية.

كيف سارت البطولة على مرحلتين

في المرحلة الأولى، تلقى كل نموذج من النماذج الـ 11 الـ god node مع مهمة اقتراح خطة تفكيك محددة. وكان من بين المشاركين الأمريكيين Fable، وهو أحدث نموذج من Anthropic وقت النشر. أما النماذج الصينية الستة فمثّلت أكبر مختبرات الذكاء الاصطناعي في الصين.

وفي المرحلة الثانية، تلقى كل نموذج مقترحات النماذج العشرة الأخرى وكان عليه تقييمها: إيجاد نقاط القوة والضعف في كل حل، واختيار الأفضل وتبرير اختياره. وبذلك تُقاس مهارتان معًا: القدرة على توليد حلول معمارية، والقدرة على تحليل حلول الآخرين تحليلًا نقديًا.

التدقيق المتبادل أسلوب غير معتاد من الناحية المنهجية. ففي المقاييس المرجعية المعتادة يتلقى النموذج مهمة ويقدم إجابة، لكن لا يُعرف ما إذا كان يفهم ما هو الحل الجيد في هذا المجال. وعندما يقيّم النموذج منافسيه، يتضح إلى أي مدى يتطابق تصوره عن الإجابة «الصحيحة» مع المعايير الهندسية الفعلية.

بعد جمع كل المقترحات والتقييمات المتبادلة، طبّق المؤلف ثلاث طرق تحليل مستقلة. تطابقت النتائج جزئيًا واختلفت جزئيًا، وكان هذا بالذات الاستنتاج الرئيسي للتجربة. ومن هنا جاء «أفول الآلهة» في العنوان: فالنماذج الرائدة ذات السمعة الأفضل لم تحقق نتيجة متفوقة بشكل ثابت. ويرى المؤلف أن المقياس المرجعي الاصطناعي والشيفرة الهندسية الواقعية مهمتان مختلفتان، وأن المتصدرين في إحداهما ليسوا دائمًا متصدرين في الأخرى.

ماذا يعني ذلك

المرتبة في لوحات المتصدرين العامة مؤشر ضعيف على أداء النموذج في مراجعة الشيفرة أو الاقتراحات المعمارية داخل مشروع بعينه. وقد تكون الفجوة بين «أفضل نموذج بحسب التصنيف» و«أفضل نموذج لمنظومتكم التقنية» كبيرة.

والخلاصة العملية: قبل تفويض القرارات التقنية لنموذج LLM بعينه، خصوصًا في مهام إعادة الهيكلة أو المراجعة المعمارية، من المستحسن اختباره على مهام من شيفرة حقيقية. ويصلح الشكل ثنائي المرحلة مع التقييمات المتبادلة في هذه التجربة قالبًا جيدًا لهذا الاختبار، لأنه يكشف القدرات التوليدية والفهم النقدي للمجال معًا.

ما هو god node في LangGraph؟

إن god node عقدة متراصة في مشاريع LangGraph تتحمل مسؤوليات أكثر من اللازم: تحلل البيانات المدخلة، وتقرر استدعاء الأدوات، وتعالج النتائج، وتصيغ المخرجات النهائية.