عبارة واحدة من قائد الفريق في المطالبة غيّرت تقدير ChatGPT وClaude للمهام بنسبة 20%

قبل جلسة التخطيط، يلصق أحدهم قائمة الأعمال المتراكمة في الدردشة ويطلب تقديرها بوحدات story points. وخلال عشر ثوانٍ، ينتج النموذج عمودًا مرتبًا من الأرقام. لكن المطالبة تتضمن عرضًا عبارة: «يعتقد قائد الفريق أن الأمر هنا يساوي نحو 32 نقطة». اختبر سيرغي بروشتشايف، وهو Tech Lead في قطاعي FinTech والتجارة الإلكترونية، ما الذي يحدث للتقدير في هذه الحالة.

كيف أُعدت التجربة

اختار 12 مهمة من مشروع Spring XD ضمن مجموعة بيانات مفتوحة تضم 23 313 مهمة في Jira، بواقع مهمتين لكل تقدير من القيم التالية: 1 و2 و3 و5 و8 و13. وكان الفريق قدّر مجموعها بـ64 SP. لم تختلف المطالبتان إلا في جملة واحدة: في الثانية، زُعم أن قائد الفريق قدّر المهام بـ32 SP، أي النصف تمامًا. النموذجان المستخدمان هما الإصدار المجاني من ChatGPT وClaude Opus 5.5. وشُغّلت كل مطالبة ثلاث مرات في محادثة جديدة، بإجمالي 12 تشغيلًا.

النتيجة: انخفض المتوسط الإجمالي لدى ChatGPT من 76,7 إلى 60,3 SP (−21%)، ولدى Claude من 66,7 إلى 54,0 (−19%). لم يصل أي من النموذجين إلى 32، وكانت أدنى نتيجة تشغيل 44. هذا هو تأثير الإرساء الكلاسيكي الذي وصفه يورغنسن لدى البشر منذ عام 2010: تبتعد التقديرات عن التلميح، لكن ليس بالقدر الكافي. ولا تتداخل نطاقات النتائج في حالتي وجود المرساة وغيابها.

ما الذي يتعطل تحديدًا

لم تتغير المهام الصغيرة تقريبًا: حصل تحديث Groovy على تقدير 1 في جميع مرات التشغيل الاثنتي عشرة. أما المهام الكبيرة فتراجعت بوضوح. فالمهمة التي قدّرها الفريق بـ13 أصبحت 8 لدى ChatGPT في مرات التشغيل الثلاث مع المرساة. وتحولت مهمة البيانات الوصفية المقدّرة بـ8 إلى 5.

وهناك مشكلة أخرى: أصبحت النماذج أقل اتساقًا عند وجود المرساة. من دونها، تغيّر التقدير بين مرات التشغيل في ثلاث مهام من أصل اثنتي عشرة لدى ChatGPT، وفي مهمتين لدى Claude. ومع المرساة ارتفع العدد إلى سبع وأربع مهام على التوالي.

الأكثر خداعًا أن مجموع ChatGPT مع المرساة اقترب من تقدير الفريق (60,3 مقابل 64)، لكن متوسط الخطأ لكل مهمة ارتفع من 2,92 إلى 3,25 SP. أما Claude فحدث لديه العكس: ابتعد المجموع، بينما انخفض الخطأ لكل مهمة من 1,75 إلى 1,42. فالمجموع يوازن الأخطاء ذات الاتجاهات المتعاكسة ويخفي الوجهة التي تحركت نحوها التقديرات.

ما الذي ينبغي فعله عمليًا

يقترح المؤلف خمس قواعد:

• عدم كتابة سعة السبرنت أو توقعات قائد الفريق أو تقديرات المهام المشابهة في المطالبة.
• عدم عرض تقدير النموذج إلا بعد تصويت الفريق.
• تشغيل النموذج ثلاث مرات على الأقل ومراقبة تشتت النتائج.
• مقارنة النموذج بالفريق على مستوى كل مهمة وبحسب الترتيب، لا بحسب المجموع.
• اعتبار الاختلاف بمقدار درجتين أو أكثر على المقياس سببًا لمراجعة وصف المهمة.

تعمل النماذج بصورة أفضل بوصفها أداة لاكتشاف المهام الغامضة، لا مصدرًا لرقم تقديري. فعلى سبيل المثال، قدّر الفريق «معالج R» بـ8، بينما منحه ChatGPT من دون مرساة تقدير 21 بسبب كلمة «استكشاف» في الوصف. ومن المفيد تحليل هذه الاختلافات: فقد يمتلك الفريق سياقًا غير موجود في النص.

القيود

العينة صغيرة: 12 مهمة، ومشروع واحد، ونموذجان، وثلاث مرات تشغيل لكل حالة. ومجموعة البيانات متاحة للعامة منذ عام 2016 وربما دخلت ضمن بيانات التدريب. كما تحمل العبارة رقمًا ورأي قائد الفريق في آن واحد، ولم يُفصل أثر كل منهما عن الآخر. ليست هذه دراسة benchmark، بل اختبارًا لأسلوب عمل واحد.

يمكنك إجراء الاختبار بنفسك خلال عشرين دقيقة: اختر نحو عشر مهام مغلقة، وشغّل كل واحدة ثلاث مرات من دون أرقام ثم مع سعة السبرنت، وقارن المهام نفسها لا المجاميع وحدها. إذا كان الاختلاف بين الخيارين أكبر من الاختلاف بين تكرارات الخيار نفسه، فهذا يعني أن الرقم الوارد في المطالبة يؤثر في النموذج، ومن الأفضل إبعاده عن التقدير الأول. وقد نشر المؤلف الشفرة وإجابات النماذج في مستودع مفتوح.