تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارHabr AI→ المصدر

الخطة رفعت عدد المهام المحلولة لدى النموذج الضعيف بمقدار 11,6 نقطة مئوية، أما النموذج القوي فاكتفى بالطرفية

تشغّل مساعدات الذكاء الاصطناعي البرمجية النموذج نفسه بطرق مختلفة: بخطة أو بدونها، وبمجموعة أدوات أو بطرفية واحدة فقط. اختبر الباحثون 176 إعدادًا من هذا النوع. أضافت الخطة إلى Nemotron-3 30B الضعيف 11,6 نقطة مئوية من الأخطاء المحلولة في SWE-Bench، بينما منحت الطرفية وحدها النموذج القوي 550B زيادة قدرها 3,6 نقطة مئوية وخفّضت تكلفة المهمة 53%. والخلاصة أن الغلاف البرمجي ينبغي أن يُختار بما يناسب النموذج.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
الخطة رفعت عدد المهام المحلولة لدى النموذج الضعيف بمقدار 11,6 نقطة مئوية، أما النموذج القوي فاكتفى بالطرفية
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1من دون إدارة للسياق ومع نافذة 32 ألف توكن، ضاعت 78,7% من المهام
حقيقة رئيسية #2كان الجمع بين الإحلال بعبارات بديلة والتلخيص عند حدّين الأرخص بالدقة نفسها
حقيقة رئيسية #3نادرًا ما استُدعيت أداة استعادة النص المحذوف: لم تُستدعَ ولو مرة واحدة في نصف الإعدادات

لعلك لاحظت أن النموذج نفسه يصلح الأخطاء البرمجية في مساعد ذكاء اصطناعي، ثم يتعثر في مهمة بسيطة في مساعد آخر. والسبب لا يكمن دائمًا في النموذج. فحوله غلاف برمجي يُسمّى «harness» (بالعربية: حزام التشغيل)، وهو الذي يقرر هل يضع الوكيل خطة، وما الأدوات التي يتعامل بها مع الملفات والطرفية، وماذا يفعل حين لا تعود المحادثة تتسع في نافذة السياق.

اختبر الباحثون مقدار ما يضيفه ذلك عمليًا. أضافت الخطة إلى النموذج الضعيف Nemotron-3 بحجم 30 مليار معامل 11,6 نقطة مئوية (ن.م.)

من المهام المحلولة في SWE-Bench، وهي مجموعة من 500 خطأ حقيقي في مستودعات Python. ولتوضيح الفكرة: لو كان النموذج يحل 30% من المهام بلا خطة، فسيحل 41,6% معها. أما النموذج القوي بحجم 550 مليار معامل فكان العمل بطرفية واحدة أفضل له، بدلًا من ثماني أدوات جاهزة: ارتفعت الدقة 3,6 ن.

م.، وانخفضت تكلفة المهمة 53%.

كيف أُجري الاختبار

تُقارن الأغلفة البرمجية عادةً بتشغيل منتجات جاهزة على المهام نفسها، ولا يتضح حينها ما الذي صنع الفرق بالضبط. هنا اعتمد المؤلفون حلقة ReAct البسيطة (يفكر النموذج ثم يتصرف ثم يطّلع على النتيجة ويكرر)، وغيّروا ثلاثة مكوّنات فقط.

الأول هو التخطيط. يملك النموذج أداة update_plan، وهي قائمة خطوات تكون فيها خطوة واحدة فقط هي الحالية في أي لحظة، والبقية إما منجزة وإما قادمة. يرى النموذج النسخة الأحدث من الخطة فقط، ولا تشغل المسودات القديمة حيزًا من السياق.

الثاني هو مجموعة الإجراءات. في النسخة الكاملة ثماني أدوات: قراءة الملفات وإنشاؤها وتعديلها تعديلًا موضعيًا، واستعراض المجلدات، والبحث بأسماء الملفات وبنص الشيفرة، والطرفية، وتحميل صفحات الويب. وفي النسخة المختصرة تبقى الطرفية وحدها.

الثالث هو إدارة السياق، وله خمسة خيارات. الأول لا يفعل شيئًا. أما البقية فتستبدل نتائج الأدوات القديمة بعبارة بديلة قصيرة (إما أن يضيع النص نهائيًا وإما يمكن استعادته)، أو تلخّص التاريخ القديم بالنموذج نفسه، أو تجمع الأسلوبين معًا. في الخيار المركّب تُفعَّل العبارات البديلة الرخيصة عند حدّ مرن لامتلاء النافذة، ولا يُفعَّل التلخيص المكلف إلا عند حدّ صارم.

النماذج: Nemotron-3 بأحجام 30 و120 و550 مليار معامل، وMistral-Medium-3.5-128B من عائلة مختلفة. المهام: 500 خطأ من SWE-Bench Verified و89 مهمة سطر أوامر من Terminal-Bench 2.1. تراوحت النافذة بين 32 و128 ألف توكن، وبلغ مجموع الإعدادات 176 إعدادًا.

السياق والتلخيص و«استعادة» النص

من دون إدارة للسياق، وعند نافذة 32 ألف توكن، ضاع في المتوسط 78,7% من مهام SWE-Bench: كانت المحادثة تصل إلى الحد الأقصى فينتهي التشغيل بخطأ. وعند 128 ألفًا بلغت الخسائر 8,7%. وفي Terminal-Bench انخفضت من 61% إلى 12%. ومع أي نوع من إدارة السياق لم تضع أي مهمة. ولم يتغير أسلوب عمل الوكيل تقريبًا في هذه الحالة: صار قادرًا ببساطة على الوصول إلى مرحلة التحقق.

قدّمت العبارات البديلة والتلخيص دقة متقاربة لكن بتكلفة مختلفة. فالعبارة البديلة تحل محل نص جاهز أصلًا، أما التلخيص فيتطلب استدعاءً منفصلًا مدفوعًا للنموذج. لذلك كان الخيار الهجين بحدّين الأوفر تكلفة: بدقة مقارِبة، كان الأرخص في معظم التركيبات تقريبًا.

أما فكرة «تمكين النموذج من استعادة نتيجة محذوفة» فلم تنجح. في أكثر من نصف الإعدادات التي توفرت فيها هذه الأداة لم تُستدعَ ولو مرة واحدة. استخدمها أضعف نموذج بنشاط أكبر، أكثر من أربع مرات للمهمة الواحدة في Terminal-Bench عند نافذة 32 ألف توكن، لكن نتيجته كانت أدنى بمقدار 3,4 ن.م. من نتيجة العبارات البديلة دون استعادة. وفي المتوسط لم يصل الفارق إلى نصف نقطة.

النماذج الضعيفة تحتاج إلى إرشاد، والقوية يعيقها

بالنسبة إلى Nemotron-3 30B كانت الخطة شرطًا للحصول على أي نتيجة تُذكر. فمن دونها كان المسار النمطي في SWE-Bench ينكمش من 40 خطوة إلى 5، وانتهى أكثر من ثلثي التشغيلات دون أي تعديل في الشيفرة. ومع الخطة بلغت نسبة هذه التشغيلات 27,8%. وفي 58,4% من التشغيلات بلا خطة لم يتجاوز النموذج البحث عن الموضع المطلوب في الشيفرة، وبوجود الخطة كانت النسبة 10,4%. الحصيلة: +11,6 ن.م. في SWE-Bench و+4,5 ن.م. في Terminal-Bench، رغم أن العمل صار أطول وأكثر كلفة. وحين تُرك لهذا النموذج طرفية واحدة، واصل استدعاء أدوات غير موجودة. وبسبب ذلك انتهى ثلثا التشغيلات في Terminal-Bench قسرًا، وانخفضت الدقة 15 ن.م. في SWE-Bench و10 ن.م. في Terminal-Bench.

أما مع Nemotron-3 550B وMistral فلم تغيّر الخطة الدقة تقريبًا، لكن التكلفة في SWE-Bench انخفضت نحو 30%: اختفت في الأساس عمليات التحقق بعد التعديل، أي أن النموذج صار يعيد فحص الحل الجاهز بوتيرة أقل. وفي 550B رفعت الطرفية الواحدة الدقة 3,6 ن.م. في SWE-Bench و5,6 ن.م. في Terminal-Bench، وخفّضت التكلفة 53% و30%. فقد جمع النموذج عدة عمليات في أمر واحد، وقلّ تعديله لملف واحد على دفعات: 1,5 تعديل للمهمة بدلًا من 4,6.

وفي حالة Mistral اعتمد كل شيء على نوع المهام. ففي SWE-Bench فقد النموذج 23,2 ن.م. بلا أدوات جاهزة، وانتهى ثلث التشغيلات (32,8%) دون أي تعديل، مقابل 1,2% مع المجموعة الكاملة. وفي Terminal-Bench، على العكس، منحت الطرفية الواحدة +6,7 ن.م.، فهذه المهام تُحل أصلًا بالأوامر. أما Nemotron-3 120B فكان أداؤها متفاوتًا: لم يظهر مكسب ثابت من الخطة، وأعطت الأدوات الجاهزة +1,6 ن.م. في SWE-Bench و+4,5 ن.م. في Terminal-Bench.

ماذا نفعل عمليًا

  • مع النافذة الصغيرة (حتى 64 ألف توكن) فعّلوا إدارة السياق، ويفضّل الخيار الهجين من العبارات البديلة والتلخيص.
  • أعطوا النموذج الضعيف خطة ومجموعة الأدوات الكاملة.
  • جرّبوا مع النموذج القوي غلافًا مختصرًا: بلا خطة ومع طرفية واحدة. قد يوفّر ذلك حتى ثلث الميزانية دون خسارة في الجودة.
  • يمكن الاستغناء عن آلية استعادة التاريخ المحذوف.
  • إذا ارتبطت المهام ببنية المستودع، فأدوات الملفات مفيدة. وإذا كان كل شيء يُحل عبر shell، فقد تعيق هذه الأدوات النموذج بما تفرضه من خيارات زائدة.

القيود

شُغّل كل إعداد مرة واحدة فقط، كما أن Terminal-Bench صغير، ولذلك فإن كثيرًا من الفروق فيه غير دالّة إحصائيًا. واختُبرت الخطة والأدوات مع استراتيجية سياق واحدة وأكبر نافذة فقط. ويتألف SWE-Bench من مهام Python، ويعكس حجم النموذج قدراته بصورة تقريبية فحسب. والخلاصة بسيطة: لا يوجد غلاف برمجي عالمي، بل يُختار بحسب الثنائي «النموذج ونوع المهام» ويُقاس على بياناتكم الخاصة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف أُجري الاختبار؟

تُقارن الأغلفة البرمجية عادةً بتشغيل منتجات جاهزة على المهام نفسها، ولا يتضح حينها ما الذي صنع الفرق بالضبط. هنا اعتمد المؤلفون حلقة ReAct البسيطة (يفكر النموذج ثم يتصرف ثم يطّلع على النتيجة ويكرر)، وغيّروا ثلاثة مكوّنات فقط. الأول هو التخطيط. يملك النموذج أداة update_plan، وهي قائمة خطوات تكون فيها خطوة واحدة فقط هي الحالية في أي لحظة، والبقية إما منجزة وإما قادمة. يرى النموذج النسخة الأحدث من الخطة فقط، ولا تشغل المسودات القديمة حيزًا من السياق. الثاني هو مجموعة الإجراءات.

ما أبرز التفاصيل حول السياق والتلخيص و«استعادة» النص؟

من دون إدارة للسياق، وعند نافذة 32 ألف توكن، ضاع في المتوسط 78,7% من مهام SWE-Bench: كانت المحادثة تصل إلى الحد الأقصى فينتهي التشغيل بخطأ. وعند 128 ألفًا بلغت الخسائر 8,7%. وفي Terminal-Bench انخفضت من 61% إلى 12%. ومع أي نوع من إدارة السياق لم تضع أي مهمة. ولم يتغير أسلوب عمل الوكيل تقريبًا في هذه الحالة: صار قادرًا ببساطة على الوصول إلى مرحلة التحقق. قدّمت العبارات البديلة والتلخيص دقة متقاربة لكن بتكلفة مختلفة. فالعبارة البديلة تحل محل نص جاهز أصلًا، أما التلخيص فيتطلب استدعاءً منفصلًا مدفوعًا للنموذج.

ما أبرز التفاصيل حول النماذج الضعيفة تحتاج إلى إرشاد، والقوية يعيقها؟

بالنسبة إلى Nemotron-3 30B كانت الخطة شرطًا للحصول على أي نتيجة تُذكر. فمن دونها كان المسار النمطي في SWE-Bench ينكمش من 40 خطوة إلى 5، وانتهى أكثر من ثلثي التشغيلات دون أي تعديل في الشيفرة. ومع الخطة بلغت نسبة هذه التشغيلات 27,8%. وفي 58,4% من التشغيلات بلا خطة لم يتجاوز النموذج البحث عن الموضع المطلوب في الشيفرة، وبوجود الخطة كانت النسبة 10,4%. الحصيلة: +11,6 ن.م. في SWE-Bench و+4,5 ن.م. في Terminal-Bench، رغم أن العمل صار أطول وأكثر كلفة. وحين تُرك لهذا النموذج طرفية واحدة، واصل استدعاء أدوات غير موجودة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…