بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

خمسة نماذج ذكاء اصطناعي أمام خطأ برمجي واحد: اثنان أصلحاه وثلاثة أفسدت أكثر

أعطى كاتب على Habr خمسة نماذج ذكاء اصطناعي الخطأ نفسه في نشر موقع. أصلحه Claude Code وCodex، أما النماذج الثلاثة الأخرى فأفسدت أكثر مما كان مكسورًا. لكن لا يصح اختيار أفضل نموذج بناءً على خطأ واحد: حتى في SWE-bench Verified، البالغ 500 مهمة، لا تختلف نتائج العشرة الأوائل إلا في 164 مهمة. والأخطر من الخطأ الذي لم يُصلَح تعديلٌ يكسر شيفرة مجاورة بصمت، إذ لا يُكتشف ذلك إلا لاحقًا. لذلك اقبلوا التعديل بعد مراجعة diff وتشغيل الاختبارات بأنفسكم، لا بناءً على تقرير الذكاء الاصطناعي.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
خمسة نماذج ذكاء اصطناعي أمام خطأ برمجي واحد: اثنان أصلحاه وثلاثة أفسدت أكثر
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1في Verified يحل الرائدان 396 مهمة من أصل 500
حقيقة رئيسية #2يتفاوت أداء النموذج الواحد بين غلاف برمجي وآخر بما يصل إلى 29,8 نقطة مئوية
حقيقة رئيسية #3خفضت الاختبارات المعزَّزة نسبة المهام المحلولة لدى أفضل 10 وكلاء بمقدار 4,2–9,0%

خطأ واحد، خمسة نماذج ذكاء اصطناعي، ونتيجتان. أسند كاتب منشور على Habr إلى خمسة نماذج ذكاء اصطناعي مهمة إصلاح الخطأ نفسه في نشر موقع على الخادم. أصلح Claude Code وCodex الخطأ. أما النماذج الثلاثة الأخرى فتركت الوضع أسوأ مما كان. يغري ذلك بتصنيف الأولين بين الأفضل، لكن الكاتب نفسه يرفض هذا الإغراء. غير أن التجربة توضح جيدًا أي نوع من الأخطاء أخطر، وكيف تُكتشف قبل أن يدخل التعديل إلى المشروع.

لماذا لا يصلح خطأ واحد لاختيار أفضل نموذج؟

تكشف تجربة واحدة أسلوب عمل نموذج بعينه، لكنها لا تصنع ترتيبًا. وتؤكد ذلك المقاييس المرجعية الكبرى. SWE-bench Verified مجموعة من 500 مهمة بفحص آلي، مأخوذة من مشكلات حقيقية على GitHub، وانتقاها بشر بالتعاون مع OpenAI. يحل أفضل نموذجين 396 مهمة من أصل 500. ولا تختلف نتائج العشرة الأوائل إلا في 164 مهمة (Liu وزملاؤه، arXiv). ولم يفرّق الاختبار الثنائي، الذي يتحقق مما إذا كان الفارق بين المتجاورين في الجدول عشوائيًا، بين أي زوج من الأزواج المتجاورة البالغ عددها 29 في الثلاثين الأولى.

وهناك عامل ثانٍ: الغلاف البرمجي. هو البرنامج المحيط بالنموذج، وعبره يقرأ ملفات المشروع ويشغّل الأوامر. وبحسب بيانات المؤلفين أنفسهم، يصل تفاوت أداء النموذج الواحد بين الأغلفة إلى 29,8 نقطة مئوية في نسبة المهام المحلولة. أما في الثلاثين الأولى كلها فالتفاوت 8,8 نقطة فقط. أي إن الغلاف يغيّر النتيجة بما يقارب ثلاثة أضعاف الفارق بين المركز الأول والثلاثين. وإذا كانت 500 مهمة لا تفرّق بين المتجاورين، فخطأ واحد لا يفرّق بينهم من باب أولى، فقد يختلف الترتيب في مهمة أخرى.

أيهما أخطر: خطأ لم يُصلَح أم انحدار صامت؟

الخطأ الذي لم يُصلَح يظهر فورًا. الخطر في تعديل يوقف ما كان يعمل سابقًا. يسمّى هذا العطل انحدارًا (regression)، ويُكتشف عادةً في وقت لاحق.

وله سببان. الأول تعديلات زائدة: يمسّ الوكيل أكثر مما طُلب منه ولا يفحص بقية الشيفرة. تقول Anthropic في وثائق Claude Code صراحةً: إذا لم يكن لدى الوكيل ما يشغّله ليعرف هل اكتمل العمل، فإنه يتوقف حين يبدو العمل مكتملًا. وعندها يقع دور الاختبارات على الإنسان. وقد أظهر مقياس SlopCodeBench (تحليل على TechRadar) أن شيفرة الوكلاء أكثر إسهابًا وتعقيدًا بمقدار 2,2 مرة من شيفرة 48 مشروعًا بلغة Python يتولى صيانتها بشر. وازداد الإسهاب أثناء المهمة في 89,8% من التشغيلات، والتعقيد في 80%. وكلما زاد عدد الأسطر التي يمسّها التعديل، اتسع المجال لحدوث انحدار.

والسبب الثاني ضعف الاختبارات. قد تجتاز الشيفرة جميع الاختبارات الآلية ومع ذلك تغفل حالات مهمة. في دراسة Probe to Generate عزّز الباحثون الاختبارات وأعادوا فحص أفضل عشرة وكلاء لإصلاح الشيفرة. فانخفضت نسبة المهام المحلولة بمقدار 4,2–9,0%. أي إن جزءًا من التعديلات المقبولة سابقًا مرّ عبر ثغرات في الاختبارات، ولم ينجز كل ما تطلبته المهمة. والخلاصة بسيطة: تقرير النموذج بأنه «تم الإصلاح» لا يثبت شيئًا. الذي يجب فحصه هو التغييرات ونتائج الاختبارات.

كيف تقيّد الوكيل وتتحقق من تعديله؟

تحديد المهمة بدقة يقلل المخاطر قبل بدء العمل. وينبغي أن تذكروا فيها:

  • الملف والدالة اللذين يوجد فيهما الخطأ؛
  • كيفية إعادة إنتاج الخطأ وما النتيجة المتوقعة؛
  • منعًا صريحًا من المساس ببقية الشيفرة؛
  • طلب عرض الخطة أولًا، وكتابة الشيفرة بعد ردكم؛
  • اختبارًا يفشل قبل التعديل وينجح بعده.

من الأنسب حفظ القيود الدائمة في ملف قواعد للوكيل، حتى لا تكرروها في كل مهمة. وهذا مهم أيضًا لأن الجلسات الجديدة في Claude Code، في الطرفية وفي VS Code، تبدأ افتراضيًا في الوضع التلقائي، وفيه تُنفَّذ الأوامر دون تأكيد كل أمر على حدة. وكلما قلّ تأكيدكم للخطوات، وجب أن تدقّقوا أكثر في النتيجة النهائية.

خطوات التحقق من التعديل:

  1. افتحوا diff كاملًا وابحثوا عن الملفات والدوال التي لم يُطلب المساس بها. ثلاثة أسطر في دالة واحدة ومئتا سطر في ستة ملفات تحملان مخاطر مختلفة، مع أن التعديلين يُسمَّيان إصلاحًا.
  2. قارنوا التغييرات بالمهمة. متغير أُعيدت تسميته، أو دالة مجاورة أُعيدت كتابتها، أو فحص إدخال حُذف: كل ذلك سبب لإعادة التعديل.
  3. تأكدوا من وجود اختبار للخطأ نفسه. وإن لم يوجد، فاطلبوا كتابته.
  4. شغّلوا مجموعة الاختبارات الكاملة بأنفسكم، وتحققوا من أن الوكيل لم يغيّر الاختبارات ذاتها. وإذا لم تكن في المشروع اختبارات، فيلزم أولًا اختبار يعيد إنتاج الخطأ.
  5. كرروا التشغيل بعد كل تعديل لاحق، فقد يمسّ التعديل الجديد ما نجح في المرة السابقة.
  6. استعينوا بنظرة ثانية. تنصح وثائق Claude Code بتكليف وكيل فرعي (subagent)، أي نسخة منفصلة من النموذج، بفحص diff وفق المواصفات والحالات الحدّية، دون ملاحظات عن الأسلوب. وتصف الوثائق نفسها خطّاف الإيقاف (stop hook): سكربت يعيد الوكيل إلى العمل ما دام الفحص لم ينجح.

كيف تختار نموذجًا لمشروعك؟

لا يمكن إعلان فائز استنادًا إلى خطأ واحد. فالنتيجة يصنعها زوج من نموذج وغلاف، وأنتم تضبطون البيئة بأنفسكم إلى حد كبير: وضع التأكيدات، وملف القواعد، وعمليات التحقق. والأجدى أن تسندوا التعديلات إلى النموذج الذي يسهل التحقق من عمله في مهامكم: يغيّر أسطرًا قليلة، ويكتب اختبارًا للخطأ، ولا يقتحم ملفات لم يُطلب منه المساس بها. ويتضح ذلك خلال عدد قليل من المهام في مستودعكم، ولن يفيدكم جدول المتصدرين هنا.

وللقصة قيد صريح: هي تجربة واحدة لكاتب واحد، وهو نفسه يشير إلى أن الأمر ربما كان سيختلف مع خطأ آخر. لكن هذا لا يضعف الخلاصة العملية. فالنموذج الأخطر هو الذي أبلغ بثقة عن إصلاح الخطأ بينما مسّ شيفرة مجاورة. ويجب أن يتخذ الإنسان قرار قبول التعديل: استنادًا إلى الأسطر المتغيرة وإلى الاختبارات التي شغّلها بنفسه.

القصة

أسئلة وأجوبة حول الخبر

لماذا لا يصلح خطأ واحد لاختيار أفضل نموذج؟

تكشف تجربة واحدة أسلوب عمل نموذج بعينه، لكنها لا تصنع ترتيبًا. وتؤكد ذلك المقاييس المرجعية الكبرى. SWE-bench Verified مجموعة من 500 مهمة بفحص آلي، مأخوذة من مشكلات حقيقية على GitHub، وانتقاها بشر بالتعاون مع OpenAI. يحل أفضل نموذجين 396 مهمة من أصل 500. ولا تختلف نتائج العشرة الأوائل إلا في 164 مهمة (Liu وزملاؤه، arXiv). ولم يفرّق الاختبار الثنائي، الذي يتحقق مما إذا كان الفارق بين المتجاورين في الجدول عشوائيًا، بين أي زوج من الأزواج المتجاورة البالغ عددها 29 في الثلاثين الأولى. وهناك عامل ثانٍ: الغلاف البرمجي.

أيهما أخطر: خطأ لم يُصلَح أم انحدار صامت؟

الخطأ الذي لم يُصلَح يظهر فورًا. الخطر في تعديل يوقف ما كان يعمل سابقًا. يسمّى هذا العطل انحدارًا (regression)، ويُكتشف عادةً في وقت لاحق. وله سببان. الأول تعديلات زائدة: يمسّ الوكيل أكثر مما طُلب منه ولا يفحص بقية الشيفرة. تقول Anthropic في وثائق Claude Code صراحةً: إذا لم يكن لدى الوكيل ما يشغّله ليعرف هل اكتمل العمل، فإنه يتوقف حين يبدو العمل مكتملًا. وعندها يقع دور الاختبارات على الإنسان.

كيف تقيّد الوكيل وتتحقق من تعديله؟

تحديد المهمة بدقة يقلل المخاطر قبل بدء العمل. وينبغي أن تذكروا فيها: الملف والدالة اللذين يوجد فيهما الخطأ؛ كيفية إعادة إنتاج الخطأ وما النتيجة المتوقعة؛ منعًا صريحًا من المساس ببقية الشيفرة؛ طلب عرض الخطة أولًا، وكتابة الشيفرة بعد ردكم؛ اختبارًا يفشل قبل التعديل وينجح بعده. من الأنسب حفظ القيود الدائمة في ملف قواعد للوكيل، حتى لا تكرروها في كل مهمة. وهذا مهم أيضًا لأن الجلسات الجديدة في Claude Code، في الطرفية وفي VS Code، تبدأ افتراضيًا في الوضع التلقائي، وفيه تُنفَّذ الأوامر دون تأكيد كل أمر على حدة.

كيف تختار نموذجًا لمشروعك؟

لا يمكن إعلان فائز استنادًا إلى خطأ واحد. فالنتيجة يصنعها زوج من نموذج وغلاف، وأنتم تضبطون البيئة بأنفسكم إلى حد كبير: وضع التأكيدات، وملف القواعد، وعمليات التحقق. والأجدى أن تسندوا التعديلات إلى النموذج الذي يسهل التحقق من عمله في مهامكم: يغيّر أسطرًا قليلة، ويكتب اختبارًا للخطأ، ولا يقتحم ملفات لم يُطلب منه المساس بها. ويتضح ذلك خلال عدد قليل من المهام في مستودعكم، ولن يفيدكم جدول المتصدرين هنا. وللقصة قيد صريح: هي تجربة واحدة لكاتب واحد، وهو نفسه يشير إلى أن الأمر ربما كان سيختلف مع خطأ آخر.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…