ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارLangChain Blog→ المصدر

LangChain ترفع وكيل البرمجة من خارج المراتب الثلاثين الأولى إلى المراتب الخمس الأولى في Terminal Bench دون تغيير النموذج

رفعت LangChain وكيل البرمجة Deep Agents من خارج المراتب الثلاثين الأولى إلى المراتب الخمس الأولى في Terminal Bench 2.0 دون تغيير النموذج، إذ أعادت تصميم الإطار المحيط به (harness) فقط. وانطلقت النتيجة من 52,8% مع GPT-5.2-Codex، ثم تحسّنت بثلاثة تعديلات: التحقق من الحل عبر الاختبارات، وتزويد الوكيل بمعلومات عن البيئة وحدود الوقت، وحمايته من الدوران في حلقات مفرغة. وإذا أخطأ الوكيل، فالأجدى أن تحلّل مساراته (traces) وتحسّن الـharness أولًا، ثم تفكر في تغيير النموذج.

معالج بواسطة الذكاء الاصطناعي من LangChain Blog؛ بتحرير Hamidun News
LangChain ترفع وكيل البرمجة من خارج المراتب الثلاثين الأولى إلى المراتب الخمس الأولى في Terminal Bench دون تغيير النموذج
المصدر: LangChain Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليLangChain Blog ↗
رئيس التحرير
حقيقة رئيسية #1قبل أن ينهي الوكيل عمله، يُلزمه middleware بمطابقة الحل مع نص المهمة
حقيقة رئيسية #2بعد عدة تعديلات على الملف نفسه، يتلقى الوكيل نصيحة بإعادة النظر في نهجه
الاستدلالجهد أكبر في التخطيط والتحقق، وأقل في التنفيذ

عندما يؤدي وكيل البرمجة أداءً ضعيفًا، يكون أول ما يخطر على البال هو استبدال نموذج أقوى به. لكن فريق LangChain جرّب مسارًا آخر: أبقى النموذج كما هو وأعاد تصميم كل ما يحيط به. فقد ارتقى وكيله Deep Agents في اختبار Terminal Bench 2.0 من مرتبة تقع خارج المراتب الثلاثين الأولى بقليل إلى المراتب الخمس الأولى في الترتيب. وغيّر الفريق الـharness فقط، أي الإطار المحيط: موجّه النظام (system prompt) والأدوات والخطافات الوسيطة (hooks) حول استدعاءات النموذج والأدوات.

كيف جرى البحث عن نقاط الضعف

يُعد Terminal Bench 2.0 مجموعة اختبار معيارية لوكلاء البرمجة، وتضم 89 مهمة في تعلّم الآلة وتصحيح الأخطاء والأحياء ومجالات أخرى. وحققت النسخة الأساسية من الوكيل مع GPT-5.2-Codex نسبة 52,8%. وهي نتيجة جيدة، لكنها دون المراتب الثلاثين الأولى.

بعد ذلك بنت LangChain حلقة عمل قابلة للتكرار. تُسجَّل كل أفعال الوكيل في مسارات LangSmith (traces) مع زمن الاستجابة وعدد الرموز (tokens) والتكلفة. وصاغ الفريق تحليل المسارات على شكل Agent Skill: فهو ينزّل مسارات التشغيل، ويطلق وكلاء متوازين لتحليل الأخطاء، ثم يجمع الوكيل الرئيسي استنتاجاتهم في مقترحات للتعديل. ويمكن للإنسان مراجعة التغييرات ومناقشتها، لكن ذلك ليس إلزاميًا. وثمة تحذير أيضًا: التعديلات المفصّلة على مهمة واحدة تُفسد مهامّ أخرى، ولذلك ينبغي التعميم بحذر. وتعد الشركة بنشر هذه المهارة (skill).

ما الذي حسّن النتيجة فعلًا

التحقق الذاتي. كان الخطأ الأكثر تكرارًا على النحو التالي: يكتب الوكيل الحل، ثم يعيد قراءة شيفرته، ويقرر أن كل شيء سليم، ويتوقف. فأضاف الفريق إلى الموجّه ترتيبًا للعمل: دراسة المهمة والشيفرة، ووضع خطة تراعي التحقق، وكتابة الاختبارات (بما فيها الحالات الحدّية لا السيناريو الناجح وحده)، وتشغيلها، وقراءة المخرجات كاملة ومقارنتها بما طُلب في المهمة، لا بشيفرة الوكيل نفسه. كما أنشأ الفريق PreCompletionChecklistMiddleware، وهو يعترض الوكيل قبل الإنهاء ويُلزمه بمطابقة النتيجة مع المواصفات مرة أخرى.

سياق عن البيئة. لا يعرف الوكيل مسبقًا بنية المجلدات ولا الأدوات المثبتة ولا مهلات الوقت الصارمة. لذلك يُزوَّد عند البدء بخريطة للمجلدات وقائمة بالأدوات المتاحة. وبهذا تقل أخطاؤه في البحث. كما أُبلغ الوكيل بأن الحل سيُفحص باختبارات برمجية، وبأن مسارات الملفات الواردة في المهمة يجب التقيد بها حرفيًا. وأضاف الفريق كذلك تنبيهات بشأن حدّ الوقت، فالوكلاء يقدّرون الوقت تقديرًا سيئًا ولا يتمكنون من الوصول إلى مرحلة التحقق.

الخروج من الحلقات المفرغة. يُدخل الوكيل أحيانًا، بعد أن يختار خطة، تغييرات طفيفة متكررة، عشر مرات أو أكثر، على نهج لا يعمل أصلًا. ويحصي الـmiddleware تعديلات كل ملف، ثم يضيف بعد عدد معيّن منها تلميحًا بإعادة النظر في الاستراتيجية. وهذا لا ينفع دائمًا: فإذا كان النموذج واثقًا من صوابه، فقد يواصل السير في المسار نفسه.

ميزانية الاستدلال. تستهلك الميزانية القصوى لكل خطوة وقتًا وتصطدم بالمهلات. واختارت LangChain نمط «الساندويتش»: xhigh في التخطيط، وhigh في التنفيذ، وxhigh مجددًا في التحقق النهائي. ولم تظهر في التجارب الأولية فروق ملحوظة بين خيارات التوزيع المختلفة، فاستقر الفريق على هذا النمط. وفي حالة الجمع بين عدة نماذج، يمكن وفق المنطق نفسه إسناد التخطيط إلى نموذج كبير والتنفيذ إلى نموذج صغير.

ما الذي يمكن أخذه من هذه التجربة

أولًا، المسارات ضرورية بوصفها مصدرًا للتغذية الراجعة. فكثيرًا ما يسلك النموذج مسارًا خاطئًا لأنه يفتقر إلى أداة أو تعليمة لازمة، ولذلك ينبغي تحليل الموجّهات والأدوات معًا.

ثانيًا، الضوابط الوقائية مثل كاشف الحلقات المفرغة وتذكيرات الاختبار تدبير مؤقت يعالج نقاط ضعف النماذج اليوم. ويكتب المؤلفون أنفسهم أن هذه الحلول الترقيعية على الأرجح ستصبح غير ضرورية مع تطور النماذج.

ثالثًا، يجب ضبط الـharness بما يلائم النموذج المعني. فقد تبيّن في اختبار مع Claude Opus 4.6، على نسخة مبكرة من الـharness، أنه منافس لكنه أضعف من Codex؛ ولم تُشغَّل حلقة التحسينات لـClaude. وتنتقل المبادئ العامة (تهيئة السياق، والتركيز على التحقق) بين النماذج، لكن بضع جولات من التحسين لنموذجك ومهمتك تبقى مجزية.

وللتجربة قيود أيضًا. فالنتيجة تحققت على اختبار معياري واحد بمهلات صارمة، أما في العمل الفعلي فلا توجد عادةً قيود كهذه. لذلك سيتعين تكييف التلميحات الخاصة بالوقت وجزء من القواعد التجريبية (heuristics). وتعتزم LangChain لاحقًا دراسة التشكيلات المؤلفة من عدة نماذج (Codex وGemini وClaude)، والذاكرة للتعلم المستمر لدى الوكلاء، وطرق قياس أثر تعديلات الـharness على نماذج مختلفة. ويُذكر أن Deep Agents مشروع مفتوح المصدر.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف جرى البحث عن نقاط الضعف؟

يُعد Terminal Bench 2.0 مجموعة اختبار معيارية لوكلاء البرمجة، وتضم 89 مهمة في تعلّم الآلة وتصحيح الأخطاء والأحياء ومجالات أخرى. وحققت النسخة الأساسية من الوكيل مع GPT-5.2-Codex نسبة 52,8%. وهي نتيجة جيدة، لكنها دون المراتب الثلاثين الأولى. بعد ذلك بنت LangChain حلقة عمل قابلة للتكرار. تُسجَّل كل أفعال الوكيل في مسارات LangSmith (traces) مع زمن الاستجابة وعدد الرموز (tokens) والتكلفة.

ما أبرز التفاصيل حول ما الذي حسّن النتيجة فعلًا؟

التحقق الذاتي. كان الخطأ الأكثر تكرارًا على النحو التالي: يكتب الوكيل الحل، ثم يعيد قراءة شيفرته، ويقرر أن كل شيء سليم، ويتوقف. فأضاف الفريق إلى الموجّه ترتيبًا للعمل: دراسة المهمة والشيفرة، ووضع خطة تراعي التحقق، وكتابة الاختبارات (بما فيها الحالات الحدّية لا السيناريو الناجح وحده)، وتشغيلها، وقراءة المخرجات كاملة ومقارنتها بما طُلب في المهمة، لا بشيفرة الوكيل نفسه. كما أنشأ الفريق PreCompletionChecklistMiddleware، وهو يعترض الوكيل قبل الإنهاء ويُلزمه بمطابقة النتيجة مع المواصفات مرة أخرى. سياق عن البيئة.

ما أبرز التفاصيل حول ما الذي يمكن أخذه من هذه التجربة؟

أولًا، المسارات ضرورية بوصفها مصدرًا للتغذية الراجعة. فكثيرًا ما يسلك النموذج مسارًا خاطئًا لأنه يفتقر إلى أداة أو تعليمة لازمة، ولذلك ينبغي تحليل الموجّهات والأدوات معًا. ثانيًا، الضوابط الوقائية مثل كاشف الحلقات المفرغة وتذكيرات الاختبار تدبير مؤقت يعالج نقاط ضعف النماذج اليوم. ويكتب المؤلفون أنفسهم أن هذه الحلول الترقيعية على الأرجح ستصبح غير ضرورية مع تطور النماذج. ثالثًا، يجب ضبط الـharness بما يلائم النموذج المعني.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…