بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارTG: @sergiobulaev (Сергей Булаев AI)→ المصدر

غاري تان يحذف مهارة /investigate: نجاح 50,0% مقابل 47,2%، وكلفة الإصلاح أعلى بنسبة 43%

المهارة (Skill) هي تعليمات يُزوَّد بها Claude Code، مثل تحليل الخطأ خطوة بخطوة. حذف غاري تان من gstack مهارة /investigate بعد اختبار على 18 خطأً بواقع 20 محاولة لكل خطأ: أصلح Claude Code 50,0% من الأخطاء مع المهارة و47,2% بدونها. الفارق 2,8 نقطة مقابل عتبة قدرها 10 نقاط، أي أنه ضمن نطاق الضوضاء، بينما كلّف كل إصلاح ناجح مع المهارة أكثر بنسبة 43%. بعد صدور أي نموذج جديد، اختبروا مهاراتكم بالطريقة نفسها.

معالج بواسطة الذكاء الاصطناعي من TG: @sergiobulaev (Сергей Булаев AI)؛ بتحرير Hamidun News
غاري تان يحذف مهارة /investigate: نجاح 50,0% مقابل 47,2%، وكلفة الإصلاح أعلى بنسبة 43%
المصدر: TG: @sergiobulaev (Сергей Булаев AI). كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTG: @sergiobulaev (Сергей Булаев AI) ↗
رئيس التحرير
حقيقة رئيسية #1سُجّلت عتبة الـ 10 نقاط قبل بدء الاختبار حتى لا يُكيَّف الاستنتاج مع النتائج
360 تشغيلًا لكل فرع18 خطأً بواقع 20 محاولة
حقيقة رئيسية #3لا تسمح /write-skill بإضافة أي شيء إلى المهارة إلا ما لا يفعله النموذج من تلقاء نفسه

مهارة وكيل البرمجة (Skill) هي تعليمات جاهزة تربطها بـ Claude Code ليعمل وفق خطتك. مثال ذلك: «عند إصلاح خطأ، اعثر أولًا على السبب، ثم اكتب الإصلاح». المشكلة أن النماذج تزداد ذكاءً، وقد تتحول التعليمات التي كانت مفيدة بالأمس إلى عبء اليوم: تُضخّم الطلب وتستهلك المال. اختبر غاري تان ذلك على مستودعه gstack وحذف منه مهارة /investigate: مع المهارة أصلح النموذج 50,0% من الأخطاء، وبدونها 47,2%، وكان كل إصلاح ناجح مع المهارة أغلى بنسبة 43%. إذا كان في مشروعك مجموعة من الموجّهات أو القواعد أو المهارات للوكيل، فستساعدك طريقة الاختبار هذه على معرفة أيّها آن أوان التخلص منه.

ما الذي حدث مع /investigate

gstack مستودع مهارات لـ Claude Code، يضم نحو 140 ألف نجمة وأكثر من 50 مهارة. إحدى هذه المهارات، /investigate، كانت ترشد النموذج خلال تحليل الخطأ خطوة بخطوة. وكان ذلك مفيدًا في السابق. أما الآن، بحسب كاتب المشروع، فإن Opus 5.5 يصلح الأخطاء بالنجاح نفسه حتى بدون هذا السيناريو. كل نموذج جديد يتفوق على سابقه، فتبدأ المهارات القديمة بإعاقة العمل وتكلّف مالًا.

لم يكتفِ الفريق بالانطباع القائل إن «المهارة غير ضرورية»، بل قاس ذلك. بلغت نسبة الإصلاحات الناجحة 50,0% مع المهارة و47,2% بدونها. الفارق 2,8 نقطة مئوية مقابل عتبة محددة مسبقًا قدرها 10 نقاط، وهذا ضمن نطاق الضوضاء، وليس ميزة حقيقية. إضافة إلى ذلك، كلّف كل إصلاح ناجح مع المهارة أكثر بنسبة 43%. المهارة ليست أفضل وهي أغلى، لذلك حُذفت.

الآن تُصلَح الأخطاء مباشرة وفق خطة قصيرة: فحص واحد للسبب، وعند الغموض اختبار فاشل قبل التعديل، ثم الإصلاح وإعادة التشغيل.

وصفة اختبار تناسب أي مهارة

الطريقة بسيطة ويمكن نقلها إلى مشروعك.

أولًا: اجمع مهام حقيقية ينجح فيها النموذج بدون المهارة في نحو نصف الحالات تقريبًا. في المهام السهلة جدًا يحل النموذج كل شيء من دون مساعدة، وفي المهام الصعبة جدًا لا يحل شيئًا. في الحالتين لا يظهر فرق بين الخيارين، ولن يكشف الاختبار شيئًا.

ثانيًا: شغّل كل مهمة مرات كثيرة في فرعين: مع المهارة وبدونها. في gstack كانت 18 خطأً بواقع 20 محاولة، أي 360 تشغيلًا لكل فرع. تختلف إجابات النموذج من مرة إلى أخرى، لذلك لا يكفي تشغيل واحد.

ثالثًا: سجّل قبل التشغيل أي فارق تعدّه مهمًا. في gstack العتبة 10 نقاط. هذا حماية من خداع النفس: فإذا قررت بعد رؤية الأرقام، يمكنك إعلان أي فارق انتصارًا.

رابعًا: احسب رقمين معًا: نسبة المحاولات الناجحة، وكلفة كل محاولة ناجحة. قد ترفع المهارة النجاح قليلًا لكنها تضاعف استهلاك التوكنات. أو، كما في هذه الحالة، لا تحقق أي مكسب وتضيف مع ذلك 43% إلى الكلفة. وبدون الرقم الثاني يسهل تفويت هذا الأثر.

كيف دُمج الاختبار في الأدوات

أدرج الفريق النهج نفسه في gstack ذاته. تعدّ مهارة /eval-plan مسبقًا تقييمًا (eval) من هذا النوع، أي خطة اختبار تتضمن مجموعة المهام وعدد التشغيلات والعتبة. أما /write-skill فتشترط ألا يُضاف إلى المهارة إلا ما لا يفعله النموذج من تلقاء نفسه. إذا كان النموذج ينجح أصلًا، فلا حاجة إلى كتابة تعليمات.

ومن هنا تنشأ دورة العمل. يصدر نموذج جديد، فتعيد تشغيل التقييم. إن وُجد فارق تبقى المهارة. وإن لم يوجد فارق تُحذف. بهذه الطريقة لا تتضخم مجموعة التعليمات ولا تتحول إلى عبء تدفع ثمنه في كل طلب.

ما ينبغي أخذه في الحسبان

تخص النتيجة 18 خطأً بعينها، ونموذجًا بعينه، ومهارة بعينها. في بيئة تقنية أخرى، أو بلغة برمجة أخرى، أو على مهام أكثر تعقيدًا، قد تكون المهارة مفيدة. تستند الاستنتاجات إلى منشور الكاتب ووصف pull request، ولم يعد أحد إنتاج الأرقام بصورة مستقلة. والفارق البالغ 2,8 نقطة يعني «ضمن نطاق الضوضاء»، وليس دليلًا على انعدام الأثر تمامًا.

الخلاصة العملية للفرق التي تبني وكلاء: تعاملوا مع المهارة بوصفها فرضية، لا أصلًا. ينبغي أن تكون لكل مهارة مهام اختبار وعتبة وتاريخ آخر فحص. عندها تحذفون بعد كل تحديث للنموذج ما بات يجيده أصلًا، وتوفرون التوكنات دون خسارة في الجودة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الذي حدث مع /investigate؟

gstack مستودع مهارات لـ Claude Code، يضم نحو 140 ألف نجمة وأكثر من 50 مهارة. إحدى هذه المهارات، /investigate، كانت ترشد النموذج خلال تحليل الخطأ خطوة بخطوة. وكان ذلك مفيدًا في السابق. أما الآن، بحسب كاتب المشروع، فإن Opus 5.5 يصلح الأخطاء بالنجاح نفسه حتى بدون هذا السيناريو. كل نموذج جديد يتفوق على سابقه، فتبدأ المهارات القديمة بإعاقة العمل وتكلّف مالًا. لم يكتفِ الفريق بالانطباع القائل إن «المهارة غير ضرورية»، بل قاس ذلك. بلغت نسبة الإصلاحات الناجحة 50,0% مع المهارة و47,2% بدونها.

ما أبرز التفاصيل حول وصفة اختبار تناسب أي مهارة؟

الطريقة بسيطة ويمكن نقلها إلى مشروعك. أولًا: اجمع مهام حقيقية ينجح فيها النموذج بدون المهارة في نحو نصف الحالات تقريبًا. في المهام السهلة جدًا يحل النموذج كل شيء من دون مساعدة، وفي المهام الصعبة جدًا لا يحل شيئًا. في الحالتين لا يظهر فرق بين الخيارين، ولن يكشف الاختبار شيئًا. ثانيًا: شغّل كل مهمة مرات كثيرة في فرعين: مع المهارة وبدونها. في gstack كانت 18 خطأً بواقع 20 محاولة، أي 360 تشغيلًا لكل فرع. تختلف إجابات النموذج من مرة إلى أخرى، لذلك لا يكفي تشغيل واحد. ثالثًا: سجّل قبل التشغيل أي فارق تعدّه مهمًا.

ما أبرز التفاصيل حول كيف دُمج الاختبار في الأدوات؟

أدرج الفريق النهج نفسه في gstack ذاته. تعدّ مهارة /eval-plan مسبقًا تقييمًا (eval) من هذا النوع، أي خطة اختبار تتضمن مجموعة المهام وعدد التشغيلات والعتبة. أما /write-skill فتشترط ألا يُضاف إلى المهارة إلا ما لا يفعله النموذج من تلقاء نفسه. إذا كان النموذج ينجح أصلًا، فلا حاجة إلى كتابة تعليمات. ومن هنا تنشأ دورة العمل. يصدر نموذج جديد، فتعيد تشغيل التقييم. إن وُجد فارق تبقى المهارة. وإن لم يوجد فارق تُحذف. بهذه الطريقة لا تتضخم مجموعة التعليمات ولا تتحول إلى عبء تدفع ثمنه في كل طلب.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…