إعادة حساب تجربة METR: على المهام المعقدة والمراجعة، يفقد المطورون الذين يستخدمون الذكاء الاصطناعي 24% من ساعات العمل

في عام 2025، قاس مركز METR البحثي المستقل أداء 16 مطورًا ذا خبرة في البرمجيات مفتوحة المصدر على 246 مهمة حقيقية من مستودعاتهم الخاصة: مع مساعدي الذكاء الاصطناعي، أُنهيت التذكرة النموذجية بوتيرة أبطأ بنسبة 19% مقارنة بالعمل اليدوي. في ورقته البحثية بعنوان «Counting the Bandages: On measuring the time that AI saves» (نُشرت على arXiv في 23 أكتوبر 2026)، أعاد الباحث المستقل سولومون شالوم ليدجو حساب إجمالي ساعات عمل الفريق باستخدام سجلات METR المفتوحة. وبأخذ التعثر الطويل في المهام المعقدة بعين الاعتبار، فقد المطورون الذين استخدموا الذكاء الاصطناعي 24% من وقت العمل (و34% بدون تصحيح حجم المهام الأصلي)، وكان تصحيح الملاحظات بعد مراجعة الكود يستغرق في المتوسط 14.

9 دقيقة للتذكرة مقابل 9.7 دقيقة بدون الشبكة العصبية. بعد ذلك، حلّل الكاتب معيار GDPval الخاص بـ OpenAI، وأظهر على 540 جلسة من Claude Code سبب عدم جدوى إيقاف الساعة لحظة تسليم المسودة: الدقائق المُكتسَبة من التوليد تنقلب إلى أخطاء مُفوَّتة وساعات من إعادة العمل.

من أين جاءت الأرقام الثلاثة 19% و24% و34% من نفس السجلات

أعاد ليدجو حساب البيانات باستخدام مستودع METR العام، وأظهر أن نفس 246 مهمة مُنجزة تُعطي ثلاثة أرقام مختلفة حسب طريقة حساب وقت الفريق:

• زيادة 19% في الوقت هي ما ينتج عن المتوسط الهندسي للوغاريتمات، وهو الرقم الذي استخدمه مؤلفو METR في عنوان بحثهم. يعكس هذا الرقم الانحراف النموذجي لمهمة واحدة منفردة.
• زيادة 24% في الوقت تظهر عند قسمة إجمالي الساعات المُستهلَكة فعليًا مع الذكاء الاصطناعي على الساعات المُستهلَكة بدونه. فمع الشبكة العصبية يكون التباين في الوقت أوسع بشكل ملحوظ: فعندما يغرق المبرمج في محاولات فاشلة متكررة من كتابة الأوامر (prompting) على تذكرة كبيرة، تستهلك هذه الذيول الطويلة من الساعات إجمالي الوقت بشكل أكبر مما يظهر في المتوسط اللوغاريتمي.
• زيادة 34% في الوقت تظهر في الساعات الخام بدون تصحيح الانحراف الأولي في العينة. فعند التوزيع العشوائي، وقعت التذاكر الأكبر عن طريق الصدفة في مجموعة الذكاء الاصطناعي: قبل بدء العمل، قدّر المبرمجون أنفسهم هذه التذاكر بـ 116 دقيقة في المتوسط مقابل 106 دقائق في المجموعة الضابطة.
• قيست التصحيحات بعد مراجعة الكود على 230 تذكرة من أصل 246: تطلّبت إعادة صياغة الكود الذي أرجعه المراجع مع الذكاء الاصطناعي 14.9 دقيقة مقابل 9.7 دقيقة يدويًا. مع ذلك، تترك حدود ماكاروف الإحصائية على نفس البيانات نطاقًا واسعًا: فقد يكون الذكاء الاصطناعي قد سرّع العمل فعليًا بنسبة تتراوح بين 2.6% و82.1% في المهام المنفردة. رقم متوسط واحد يُخفي في أي التذاكر يوفّر الأداة الوقت، وفي أيها يُغرق المستخدم في المشاكل.

لماذا ينكمش التسريع المائة ضعف لـ GPT-5 إلى 1.1–3.6 مرة فقط

جرّب المهندس فرانك جيلبرت منذ قرن من الزمن الحلاقة بموسين في نفس الوقت: وفّر 44 ثانية أمام المرآة، لكنه أنفق دقيقتين في لصق الجروح بالضمادات. تكرر معايير الذكاء الاصطناعي الحديثة نفس الخطأ عندما تستبعد من القياس عملية التحقق من النتيجة.

مثال واضح هو الاختبار التطبيقي GDPval من OpenAI. في إعلانها، صرّحت الشركة بأن النماذج الرائدة تحل مهام المتخصصين في الصناعات بسرعة أكبر بحوالي 100 مرة وبتكلفة أقل: يولّد GPT-5 الرد في 4.5 دقيقة مقابل 404 دقيقة من العمل اليدوي للخبير. لكن داخل الورقة العلمية الخاصة بـ GDPval نفسها، هناك مخطط عمل يتضمن استلامًا إلزاميًا لكل رد:

• تستغرق قراءة ومراجعة مسودة واحدة من قِبل متخصص حقيقي 109 دقائق (27% من إجمالي وقت العمل اليدوي)؛
• بموجب قانون أمدال، فإن تسريع العملية بأكملها يصطدم بسقف يبلغ `404 / (4.5 + 109) = 3.56x`، أي 3.6 مرة كحد أقصى، حتى لو كان النموذج خاليًا من الأخطاء؛
• تفوّقت ردود GPT-5 على الردود البشرية في 39% فقط من المهام، وبالتالي، مع أخذ إعادة صياغة المسودات الضعيفة في الحساب، يُقدّر مؤلفو ورقة GDPval نفسها التسريع الحقيقي بـ 1.12–1.39 مرة فقط.

نفس المفارقة تظهر في التجربة الميدانية على مستشارين في مجال الأعمال (Dell'Acqua وآخرون، 2026) على مهام تتجاوز نطاق الثقة الموثوق للنموذج. مع GPT-4، سلّم المشاركون الحل في 26.2 دقيقة بدلًا من 37.7 دقيقة في المجموعة الضابطة، لكن نسبة الإجابات الصحيحة انخفضت من 84.5% إلى 60.0%. وبحسب معادلة عتبة التعادل التي يقدمها ليدجو، فإن الدقائق الـ 11.5 المكتسبة تعود بفائدة فقط إذا كانت تكلفة اكتشاف وتصحيح خطأ وصل إلى العميل أقل من 47 دقيقة من عمل المستشار.

تجربة على 540 جلسة من

Claude Code: كيف تُعطّل الثقة المفرطة عملية التحقق

لقياس كيفية تأثير سمعة كاتب المسودة عمليًا على عمق المراجعة، أجرى ليدجو سلسلة من التجارب الخاضعة للتحكم على وكلاء الذكاء الاصطناعي. استند الأساس إلى تقارير مالية فصلية لشركات أمريكية بنموذج 10-Q من قاعدة بيانات هيئة الأوراق المالية والبورصات الأمريكية (SEC) للفترة حتى 30 يونيو 2026. صدرت التقارير بعد 1 يوليو 2026 — أي بعد نقطة انقطاع تدريب النماذج، لذا لم تستطع الشبكة العصبية استرجاع الأرقام من أوزانها المُدرَّبة مسبقًا.

قام الوكيل الكاتب (`claude-haiku-5-5`) بتجميع تقرير مكوّن من 9 مؤشرات (الإيرادات، الربح الصافي، والهامش التشغيلي لثلاث شركات)، حيث أُدرج عمدًا خطأ واحد في 30% من الحالات: سطر من شركة مختلفة، أو فصل قديم، أو أرقام مُبدَّلة. بعد ذلك، راجع الوثيقة وكيل مراجع (`claude-sonnet-5-5` في جلسة منفصلة من Claude Code)، كان يملك أداة لمقارنة الأسطر مع المصدر الأصلي لدى SEC. وفق شروط الأمر، كانت تكلفة مراجعة رقم واحد 3 دقائق (جميع الأسطر التسعة = 27 دقيقة)، وكانت تُغرَّم عقوبة فوات خطأ على العميل بـ 10 ساعات (600 دقيقة). كانت المراجعة الكاملة تُبرَّر اقتصاديًا عند نسبة عيوب تتجاوز 4.5%.

كشفت التجربة عن ثلاثة تأثيرات محددة:

• وضع «كل شيء أو لا شيء». عندما أُعلِم المراجع بصدق أن نسبة العيوب مرتفعة (بين 10% و30%)، قام في جميع الحالات الأربعين المزدوجة بمراجعة الأسطر التسعة كاملةً وصحّح 100% من الأخطاء. لكن لم يكن هناك تدرّج سلس في العينة: حول عتبة 4.5%، كان النموذج يتبدّل بشكل حاد بين المراجعة الكاملة والامتناع التام عن استعلام المصدر.
• العمى عند تقدير العيوب بشكل أقل من الحقيقة. على نفس المسودات التي تحتوي على 30% أخطاء حقيقية، قيل للمراجع في الأمر أن الكاتب يرتكب أخطاء أقل بعشر مرات (في 3% من الحالات). في 29 من أصل 40 جلسة، لم يفتح `Sonnet 5.5` التقرير الأصلي على الإطلاق، وراجع في المتوسط رقمين فقط من أصل 9. وفّر هذا 21 دقيقة من وقت المراجعة، لكن رقمًا مزيفًا تسرّب إلى التقرير النهائي للعميل في 22.5% من التقارير بدلًا من صفر — أي خسارة صافية بلغت 135 دقيقة لكل وثيقة.
• عدم فعالية التحفظات الموجودة في الأمر. في فرع منفصل من التجربة، أُضيف إلى رقم «3% عيوب» طلب مباشر باعتبار هذا التقدير غير مُتحقَّق منه. في 26 من أصل 40 تشغيلًا، وافق النموذج في عملية التفكير على أنه لا يمكن الوثوق بهذا الرقم، ومع ذلك سلّم التقرير بدون أي مراجعة. الرقم الثابت الذي استُخدم كـ«مرساة» طغى على التحذير النصي.

كيف تُقاس فائدة الذكاء الاصطناعي في الفريق بدون خداع الذات

عوضًا عن استخدام عداد زمني وحيد يتوقف «عند أول ارتكاب للكود»، يقترح الكاتب قياس ثلاثة مؤشرات عند تبني أدوات الذكاء الاصطناعي (الكود والسجلات الخام متاحة على GitHub في مستودع `tsb-bench` وعلى Zenodo):

1. إجمالي عدد الساعات التي يُنفقها الفريق على المهمة بأكملها، بما في ذلك مراجعة الكود وإعادة صياغة طلبات السحب (PR) المُرجَعة. 2. عدد الأخطاء الإضافية التي تتسرّب إلى النتيجة النهائية — بناءً على نتائج استلام أعمى في المجموعات التي تستخدم الذكاء الاصطناعي وتلك التي لا تستخدمه. 3. عند أي تكلفة للخطأ يتوقف التسريع عن تحقيق الفائدة الاقتصادية، ومتى يمكن إيقاف المراقبة اليدوية: لإلغاء المراجعة الإلزامية بثقة 95% عند معدل عيوب مسموح به يبلغ 0.85%، يجب على الأداة أولًا أن تنجز 352 مهمة مُتحقَّقة متتالية بدون أي فشل واحد.