ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارMIT Technology Review→ المصدر

METR تحدّث رسمها البياني الشهير للذكاء الاصطناعي: طول المهام يتضاعف كل 4 أشهر، لكن الحكم والتقدير ما زالا نقطة ضعف

حدّثت METR الرسم البياني الذي يقيس طول المهام التي ينجزها الذكاء الاصطناعي بنفسه، ويُحسب الطول بحسب الوقت الذي يستغرقه إنسان في تنفيذها. كان أفق النماذج المتقدمة يتضاعف سابقًا كل أربعة أشهر، ولا يزال هذا الاتجاه قائمًا في البرمجة. لكن موظفي METR لم يعدّوا أيًّا من اختبارات الذكاء الاصطناعي التي ابتكرتها النماذج مفيدًا ولو مرة واحدة. وهذا يعني أنه لا يصح نقل التفوق في الكود إلى المهام التي تتطلب ذوقًا وحكمًا وتقديرًا.

معالج بواسطة الذكاء الاصطناعي من MIT Technology Review؛ بتحرير Hamidun News
METR تحدّث رسمها البياني الشهير للذكاء الاصطناعي: طول المهام يتضاعف كل 4 أشهر، لكن الحكم والتقدير ما زالا نقطة ضعف
المصدر: MIT Technology Review. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليMIT Technology Review ↗
رئيس التحرير
حقيقة رئيسية #1كل 4 أشهر كان طول المهام المتاحة للنماذج يتضاعف
حقيقة رئيسية #2لم يفد أيٌّ من الاختبارات التي ابتكرها الذكاء الاصطناعي باحثي METR
حقيقة رئيسية #3وصل Opus 5.5 إلى تقييم «يكاد يكون مقبولًا»؛ وقبل عام كانت جميع النماذج «أسوأ بوضوح»

إذا صادفتم على وسائل التواصل الاجتماعي رسمًا بيانيًا بمنحنى صاعد يقول «الذكاء الاصطناعي ينجز مهام أطول فأطول»، فالأرجح أنه رسم METR. أُعيد تداوله عشرات المرات، وفُهم خطأً بالقدر نفسه من التكرار. والآن أصدر هذا المختبر غير الربحي، المتخصص في تقييم النماذج، تحديثًا كبيرًا. وبالنسبة إلى من يبنون منتجات على الوكلاء (agents)، فأبرز ما في الخبر أن المنحنى في البرمجة لم ينكسر، بينما لا تزال النماذج تعاني إخفاقات واضحة في المهام التي تتطلب حكمًا وتقديرًا.

Что вообще показывает этот график

الفكرة بسيطة. تعتمد METR على مجموعة كبيرة من المهام، سبق أن حلّ بشرٌ كل مهمة منها. ويُقاس صعوبة المهمة بالوقت الذي احتاج إليه الإنسان لإنجازها. ثم يُنظر إلى المهام ذات «الطول البشري» التي تستطيع النماذج تنفيذها بنجاح. فالمقياس ليس «ساعة من عمل الذكاء الاصطناعي»، بل «مهمة يستغرق إنجازها ساعة من وقت مختص».

أظهرت النسخة الأولى من الرسم أن طول المهام التي تنجزها النماذج المتقدمة يتضاعف كل أربعة أشهر. لكن المجموعة كانت منحازة. فجميع مهامها من النوع الذي يمكن التحقق من نتيجته آليًا: نجح الاختبار أو لم ينجح. وهذه بالضبط المهام التي تُدرَّب عليها الشبكات العصبية بأفضل صورة. تحاول النماذج حل المهمة مرات كثيرة، ويعزز التعلم المعزَّز ما أدى إلى النجاح ويُضعف ما أدى إلى الفشل. ولهذا يبرع الذكاء الاصطناعي في الكود والرياضيات، حيث تتحقق الآلة من صحة الحل.

Что добавили в новую версию

تضم المجموعة المحدّثة مهامَّ يستغرق إنجازها من الإنسان وقتًا أطول بكثير، ومهامَّ أكثر انفتاحًا بلا معيار واضح للنجاح. فعلى سبيل المثال، كُلّفت النماذج بابتكار اختبارات جديدة لتقييم الذكاء الاصطناعي يمكن أن تستخدمها METR في أبحاثها الخاصة، وقيّم موظفو المنظمة النتيجة. ورغم أن أفضل النماذج اليوم تتفوق على أي إنسان تقريبًا في تطوير البرمجيات، فقد أخفقت هنا: لم يُعدّ أي اختبار أنشأه الذكاء الاصطناعي مفيدًا للعمل.

وفي مهمة أخرى، قيّمت النماذج حججًا فلسفية لاختبار جودة الحكم. وهنا أيضًا تخلفت عن البشر. ويقرّ الباحثون أنفسهم بأن الجدل يدور داخل METR حول مدى ارتباط هذه المهمة بأتمتة أبحاث الذكاء الاصطناعي.

ومع ذلك فالاتجاه مشجع. فالنماذج الأحدث، مثل Opus 5.5، تحصل في مهام ابتكار الاختبارات على تقييم «أعلى بقليل من المستوى المطلوب» بوتيرة أكبر. وهذا لا يكفي بعدُ لأبحاث METR، لكنه تقدم ملحوظ. أما قبل عام، فكانت جميع النماذج تقع في فئة «أدنى بوضوح من المستوى المطلوب».

Почему это важно и где слабые места

يحيط بالموضوع توتر كبير. فقد أصدرت METR في وقت سابق من هذا الشهر تقريرًا آخر خضع لتنقيح مكثف، ذكرت فيه أن الذكاء الاصطناعي قد يسرّع وتيرة التطوير في Anthropic بنحو الضعف. وأثار ذلك مخاوف من أن الشركة باتت قريبة من التحسين الذاتي التكراري، أي أن يصمم الذكاء الاصطناعي بنفسه خلفاءه. التقرير الجديد لا يؤكد هذه المخاوف ولا ينفيها، لكنه يبيّن أن النماذج لا تزال ضعيفة تحديدًا فيما تتطلبه هذه الأتمتة: اختيار الاتجاهات وتقييم الأفكار.

أما الخبراء الذين تنقل عنهم MIT Technology Review فيتحدثون بحذر. يقول ساياش كابور، الذي سيصبح قريبًا أستاذًا في UC Berkeley، إن على تقييمات الذكاء الاصطناعي أن تصبح أكثر ابتكارًا، ويرى أن «الذوق البحثي» (القدرة على اختيار الأسئلة والتجارب الواعدة) هو عنق الزجاجة الرئيسي. ولا يفاجئه الإخفاق في المهام المفتوحة: فقد أظهرت ورقته البحثية الأولية الصادرة في أغسطس أن النماذج لا تستطيع بعدُ إعادة إنتاج أبحاث البشر في علوم الحاسوب بصورة مستقلة. وفي يوم الأربعاء كتبت OpenAI في مدونتها أن نماذجها تتعامل مع مهام الموظفين الحقيقية بصورة أسوأ مما تتعامل مع المهام الأبسط القابلة للتحقق في مجموعة METR الأصلية. في المقابل، يرى متخصصون آخرون أن النماذج المدرَّبة على مهام قابلة للتحقق ستتقن المهام المفتوحة أيضًا مع الوقت.

وللرسم الجديد حدود لا بد من الإقرار بها. فوقت التنفيذ للمهام الأطول هو في الغالب تقدير لا قياس: إذ إن دفع أجور لبشر مقابل مئات الساعات من العمل، أو البحث عن عدد قليل من الخبراء المؤهلين، مكلف أكثر من اللازم. وفي مهمة الحجج الفلسفية قيّم شخص واحد معظم الحجج، ويُحكم على الوكلاء بمدى توافق رأيهم مع رأي هذا الشخص. إضافة إلى ذلك، عدد المهام المفتوحة في المجموعة قليل، ما يصعّب بناء تنبؤ عليها. ويقول مات بوتس من METR صراحةً إنه لن يمكن رسم اتجاهات بالوضوح نفسه لمثل هذه المهام كما في المهام السهلة الصياغة الشكلية. وتشير ناجونغ كيم من جامعة بوسطن إلى أن النمو الملحوظ يقول شيئًا عن اللحظة الراهنة، لكن كيفية استقراء مساره ما زالت غير واضحة.

Что из этого следует практику

إذا كنتم تبنون وكلاء للبرمجة أو الاختبار أو غيرها من المهام ذات التحقق الآلي، فيبقى منحنى METR مؤشرًا معقولًا: فالأفق ينمو بسرعة. أما إذا كنتم تكلّفون الوكيل بتقييم الأفكار أو ترتيب الأولويات أو تصميم المقاييس، فأدرجوا الإنسان في حلقة التحقق. فنتائج اختبارات الكود لا يجوز نقلها تلقائيًا إلى هذه المهام. وعند قراءة أي رسم بياني عن «طول المهام»، تذكروا أنه يعرض الوقت الذي يقضيه الإنسان في المهمة، لا المدة التي يعمل فيها النموذج.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول Что вообще показывает этот график؟

الفكرة بسيطة. تعتمد METR على مجموعة كبيرة من المهام، سبق أن حلّ بشرٌ كل مهمة منها. ويُقاس صعوبة المهمة بالوقت الذي احتاج إليه الإنسان لإنجازها. ثم يُنظر إلى المهام ذات «الطول البشري» التي تستطيع النماذج تنفيذها بنجاح. فالمقياس ليس «ساعة من عمل الذكاء الاصطناعي»، بل «مهمة يستغرق إنجازها ساعة من وقت مختص». أظهرت النسخة الأولى من الرسم أن طول المهام التي تنجزها النماذج المتقدمة يتضاعف كل أربعة أشهر. لكن المجموعة كانت منحازة. فجميع مهامها من النوع الذي يمكن التحقق من نتيجته آليًا: نجح الاختبار أو لم ينجح.

ما أبرز التفاصيل حول Что добавили в новую версию؟

تضم المجموعة المحدّثة مهامَّ يستغرق إنجازها من الإنسان وقتًا أطول بكثير، ومهامَّ أكثر انفتاحًا بلا معيار واضح للنجاح. فعلى سبيل المثال، كُلّفت النماذج بابتكار اختبارات جديدة لتقييم الذكاء الاصطناعي يمكن أن تستخدمها METR في أبحاثها الخاصة، وقيّم موظفو المنظمة النتيجة. ورغم أن أفضل النماذج اليوم تتفوق على أي إنسان تقريبًا في تطوير البرمجيات، فقد أخفقت هنا: لم يُعدّ أي اختبار أنشأه الذكاء الاصطناعي مفيدًا للعمل. وفي مهمة أخرى، قيّمت النماذج حججًا فلسفية لاختبار جودة الحكم. وهنا أيضًا تخلفت عن البشر.

ما أبرز التفاصيل حول Почему это важно и где слабые места؟

يحيط بالموضوع توتر كبير. فقد أصدرت METR في وقت سابق من هذا الشهر تقريرًا آخر خضع لتنقيح مكثف، ذكرت فيه أن الذكاء الاصطناعي قد يسرّع وتيرة التطوير في Anthropic بنحو الضعف. وأثار ذلك مخاوف من أن الشركة باتت قريبة من التحسين الذاتي التكراري، أي أن يصمم الذكاء الاصطناعي بنفسه خلفاءه. التقرير الجديد لا يؤكد هذه المخاوف ولا ينفيها، لكنه يبيّن أن النماذج لا تزال ضعيفة تحديدًا فيما تتطلبه هذه الأتمتة: اختيار الاتجاهات وتقييم الأفكار. أما الخبراء الذين تنقل عنهم MIT Technology Review فيتحدثون بحذر.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…