ورقة على arXiv تعيد حساب نتائج METR: الذكاء الاصطناعي أبطأ المطورين بنسبة 19–24%

كم من الوقت يوفره مساعد الذكاء الاصطناعي فعلًا؟ يرى سولومون شالوم ليجو، في ورقة من 18 صفحة على arXiv (cs.AI، 23 أكتوبر 2026)، أن قراءة الساعة لا تصلح جوابًا عن هذا السؤال. أعاد المؤلف حساب بيانات دراسة METR، وقدّر سقف التسارع الذي يحققه GPT-5 في اختبار GDPval، وأجرى تجربة خاصة به مع مراجعين من الذكاء الاصطناعي. على المهام نفسها، وعددها 246، بدا المطورون أبطأ بنسبة 19% أو 24%، بحسب ما يُعدّ أثرًا. وحين أُبلغ المراجع بأن المسودة يكتبها نموذج شبه خالٍ من الأخطاء، قلّص فحصه، ومرّ رقم خاطئ في 22.5% من الملخصات.

الساعة مقابل دفتر المحاسبة

يميّز المؤلف بين تفسيرين. في التفسير «الساعاتي» يساوي الوقت الموفَّر ما سجّلته الساعة. أما في التفسير «المحاسبي» فهو قيمة افتراضية مقابلة للواقع (counterfactual): كم كان العمل سيستغرق دون الذكاء الاصطناعي، ويجب قراءتها إلى جانب الأخطاء التي فاتت العمل. ويدافع ليجو عن التفسير الثاني.

ولهذا يقدّم زوجًا من المقادير لا يرتبط بنموذج بعينه: الوقت الموفَّر والعيوب الفائتة الزائدة. ومنهما يستخلص رقمًا واحدًا لاتخاذ القرار هو عتبة التعادل لتكلفة العيب. فإذا كان الخطأ في عمليتكم يكلّف أكثر من هذه العتبة، فلا جدوى من التسارع.

ويخلص نموذج الفحص الأساسي إلى ثلاث نتائج. ما دام النموذج ليس جيدًا بما يكفي للاستغناء عن فحصه تمامًا، فإن نسبة العيوب الفائتة لدى العامل المعايَر لا تعتمد على جودة النموذج. ويزداد زمن الفحص مع لوغاريتم نسبة أخطاء النموذج. أما الثقة المفرطة فتشتري دقائق على الساعة بثمن عدد أكبر من الدقائق في الحساب الإجمالي.

إعادة حساب METR وسقف GDPval

أعاد ليجو إنتاج دراسة METR عن المطورين اعتمادًا على البيانات العامة. وتتوقف النتيجة على اختيار المقدار الذي يجري تقديره:

• تباطؤ بنسبة 19% أو 24% على المهام نفسها، وعددها 246، بحسب estimand؛
• تباطؤ بنسبة 34% إذا لم يُصحَّح الاختلال العشوائي في التوازن بين المجموعتين؛
• ساعد الذكاء الاصطناعي في نحو 3–82% من المهام. ويُظهر هذا المدى الواسع أن الدراسة العشوائية تجيب عن سؤال الأثر المتوسط، ولا تقول شيئًا يُذكر عن الأثر في مهمة بعينها.

وفي عملية GDPval، حيث يُفحص كل ناتج، يحدّ وقت المراجعة وحده من تسارع GPT-5 عند 3.6x. وعمل المستشارون الذين لم يكونوا ضمن فئة الحدّ الأعلى (frontier) بسرعة أكبر، لكنهم أخطؤوا أكثر. وهنا يضع المؤلف حدودًا صريحة بدلًا من افتراضات نقطية مستوردة.

مراجعون صدّقوا الكاتب

اختبر ليجو تنبؤين لنموذجه في تجربة صغيرة جرى تثبيت تصميمها مسبقًا. راجع مراجعو الذكاء الاصطناعي مسودات من إعداد الذكاء الاصطناعي لملخصات (briefs) متشابهة الطراز، مبنية على وثائق SEC قُدّمت بعد جمع بيانات تدريب النماذج، فلم تكن ذاكرة النموذج قادرة على الإيحاء بالإجابة.

حين كان المراجع يُبلَّغ بالنسبة الحقيقية لأخطاء الكاتب، كان يفحص أكثر كلما ارتفعت. لكنه كان يفعل ذلك بمنطق «الكل أو لا شيء»: إذ كان التحول يحدث قرب النقطة التي تتعادل عندها التكاليف في تعليمات الإدخال (prompt) الخاصة به. ولم يكن هناك ضبط تدريجي للجهد.

وحين أُبلغ بأن الكاتب يخطئ أقل بعشر مرات مما هو عليه فعلًا، تحقق من عدد أقل بمقدار 7 أرقام من أصل 9. ومرّ رقم خاطئ في 22.5% من الملخصات، بينما لم يمرّ في أي ملخص دون هذا التضليل. فصار العمل أسرع وأسوأ، وكان ذلك كله بسبب انخفاض الجهد المبذول.

ما الذي ينبغي تغييره في مقاييس التبني

إذا كنتم تقيّمون مساعد ذكاء اصطناعي في فريقكم، فمقياس السرعة وحده لا يكفي. تلزمكم ثلاثة أرقام على الأقل:

• الوقت الموفَّر قياسًا بالعملية الافتراضية دون الذكاء الاصطناعي؛
• عدد العيوب الفائتة الزائدة لكل وحدة عمل؛
• تكلفة العيب في عمليتكم ومقارنتها بعتبة التعادل.

كما ينبغي مراقبة ما تُخبرون به المراجعين عن موثوقية النموذج. فالتقدير المبالغ فيه للجودة يقلّص حجم الفحص أسرع مما يتحسن النموذج فعليًا. وبحساب التوكنات وساعات المهندسين يبدو ذلك توفيرًا، إلى أن يصل العيب إلى العميل. وقد نشر المؤلف الشيفرة والبيانات على Zenodo، ما يتيح إعادة الحسابات على سجلاتكم الخاصة.