تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارورقة بحثية · للتجربةOpenAI Blog→ المصدر

OpenAI تكشف مقياس تخمين الكلمة التالية لدى نماذجها: من 0.99 في GPT-3.5 إلى ما دون 0.8

كلما خمّن النموذج الكلمة التالية في النص بصورة أفضل، عُدّ «أذكى»، وهذا هو مفهوم الحيرة (perplexity)، وكلما انخفض الرقم كان الأداء أفضل. ويقترح كبير علماء OpenAI ياكوب باتشوكي أن تقارن جميع المختبرات نماذجها بهذه الطريقة. فلوغاريتم الحيرة يبلغ نحو 0.99 في GPT-3.5 ونحو 0.91 في GPT-4 ويقل عن 0.8 في النماذج الحالية، ومن هذا المستوى ظهرت مهارات قوية في الأمن السيبراني والرياضيات. ولهذا ينبغي متابعة التدريب الأساسي بقدر متابعة نتائج الاختبارات المعيارية (benchmarks) أو أكثر.

معالج بواسطة الذكاء الاصطناعي من OpenAI Blog؛ بتحرير Hamidun News
OpenAI تكشف مقياس تخمين الكلمة التالية لدى نماذجها: من 0.99 في GPT-3.5 إلى ما دون 0.8
المصدر: OpenAI Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليOpenAI Blog ↗
رئيس التحرير
حقيقة رئيسية #1أُجريت القياسات على الشيفرة الداخلية لدى OpenAI، ومن الصعب مقارنتها بنتائج مختبرات أخرى
حقيقة رئيسية #2بدأ النموذج الذي يبلغ مؤشره نحو 0.76 بحل مسائل رياضية مفتوحة
حقيقة رئيسية #3ستُرفع حدود التطوير عندما تظهر طريقة جديدة لمراقبة الذكاء الاصطناعي

تخيّل ميزة الإكمال التلقائي في هاتفك: تزداد فائدتها كلما نجحت في تخمين الكلمة التي ستكتبها بعد ذلك. تقوم النماذج الكبيرة الحديثة على المبدأ نفسه في أساسها، لكنها تتعلم من كميات هائلة من النصوص والشيفرات البرمجية. نشر كبير علماء OpenAI ياكوب باتشوكي مقالة يقترح فيها قياس تقدم الذكاء الاصطناعي بجودة هذا التخمين تحديدًا. يسمى هذا المقياس الحيرة (perplexity)، وقد عرضت OpenAI لأول مرة أرقامها الداخلية بشأنه، ودعت المختبرات الأخرى إلى أن تفعل الشيء نفسه.

ما هي الحيرة؟ شرح بمثال بسيط

لنفترض أن النموذج يرى بداية سطر برمجي def add(a, b): return a وعليه أن يتنبأ بتتمته. إذا كان يضع + b في أغلب الأحيان فإن خطأ التنبؤ منخفض. أما إذا كان يخمّن عشوائيًا فالخطأ مرتفع. تحسب الحيرة متوسط هذا الخطأ على مجموعة ضخمة من النصوص التي لم يرها النموذج أثناء التدريب. وعمليًا تنظر OpenAI إلى لوغاريتم الحيرة، وهو ما يعرف بالإنتروبيا المتقاطعة (cross-entropy). وهذا ليس نسبة مئوية للدقة: كلما انخفض الرقم كان تنبؤ النموذج أفضل.

يصف باتشوكي النموذج المدرَّب بأنه «ضاغط». فلكي يتنبأ جيدًا بالبيانات الجديدة، عليه أن يلتقط أنماطها. ومع ذلك فهو ليس أرشيفًا مثل GZIP: فالنموذج غير مطالب بتذكّر المدونة النصية نفسها. أما كل ما عدا ذلك، من التوجيهات (prompts) والضبط الإضافي والتعلم المعزَّز، فلا يفعل سوى استخراج القدرات الكامنة من هذا الأساس. وأي القدرات ستظهر هناك غير معروف مسبقًا.

أرقام OpenAI على مجموعة الاختبار الرئيسية:

  • GPT-3.5، نحو 0.99: حوار متماسك، وهو أساس ChatGPT الأول؛
  • GPT-4، نحو 0.91: سلاسل استدلال مفيدة نمت منها نماذج الاستدلال (reasoning)؛
  • أقل من 0.8: مهارات ملحوظة في الأمن السيبراني والرياضيات؛
  • نحو 0.76: بدأ النموذج يقدم نتائج رائدة في مسائل الرياضيات المفتوحة.

يتذكر باتشوكي كيف ظهرت حلول لأسئلة يعرفها منذ زمن طويل الواحد تلو الآخر في سلسلة واحدة على Slack، ويصف ذلك بأنه «سريالي». ويؤكد أن أحدًا لم يكن يعرف مسبقًا أن المهارات ستظهر عند هذه العتبات بالذات. وقبل ذلك تعلّم GPT-2 كتابة فقرات متماسكة، وتعلّم GPT-3 التعلم من بضعة أمثلة داخل الطلب نفسه.

لماذا الحدود وما الذي سيأتي لاحقًا

يسمّي الكاتب النافذة التالية بنحو 0.68–0.70. ويقول بصراحة إنه لا يعرف أي القدرات ستظهر هناك، ولا إن كنا قادرين أصلًا على اختبارها. كما يتوقع أن تعمل عمليات تدقيق المواءمة (alignment) المعتادة بصورة أسوأ، وأن تصبح النماذج أقدر على إدراك أنها تخضع للاختبار.

ولذلك تقترح OpenAI معيارًا على مستوى القطاع. تتفق المختبرات مسبقًا على حد أول للحيرة ولقياسات أخرى، وتلتزم بعدم تجاوزه إلى أن تبلغ مرحلة محددة في فهم سلوك الذكاء الاصطناعي ومراقبته. ومثال على هذه المرحلة: خليفة أدوات مراقبة سلاسل الاستدلال (CoT-monitors). وبعدها يمكن تحديد الحدود التالية وفق المبدأ نفسه. كما يلزم وضع معايير مشتركة للتقييم ولفحوص الأمان بأسلوب الفريق الأحمر (red-team) بحلول وقت الإطلاق الأول للنموذج.

وهناك أيضًا توقع بشأن وتيرة التقدم. يرى باتشوكي أن الذكاء الاصطناعي قد يسرّع بشدة الأبحاث الخوارزمية في مجال التدريب المسبق، وأن «انهيارًا ثلجيًا» من الاكتشافات الأساسية قد يحدث في 2027 نفسه، كما حدث في الرياضيات. وبحسب تقديره، من غير المرجح أن يلحق التقدم في المواءمة والمراقبة بهذا التسارع. ويظهر في الرسم البياني انكسار حاد في 2026. وتفسره OpenAI في الأساس بالأبحاث طويلة المدى والاستثمار في القدرات الحوسبية، وبالأتمتة جزئيًا فقط. لكن في تصميم أحدث النماذج مساهمة من الذكاء الاصطناعي بالفعل.

حدود هذا المقياس

يعدّد باتشوكي نفسه عيوب المقياس:

  • تستخدم المختبرات مجموعات اختبار وخلائط بيانات مختلفة، ولذلك لا تزال المقارنة المباشرة غير ممكنة؛
  • تحسب OpenAI الحيرة على عينة من شيفرتها الداخلية، وهذا القياس يعكس القدرات العامة لـ GPT-2 وGPT-3 بصورة ضعيفة؛
  • الحيرة لا تقابل مهمة تطبيقية بعينها، والاستدلال بسلسلة الأفكار لا يخفضها، مع أنه يقوّي النموذج بشدة؛
  • الحد الأدنى للبيانات نفسها مجهول: لا يمكن بلوغ الصفر، ومع الاقتراب من هذا الحد الأدنى سيتباطأ التقدم على المقياس، وإن كان كل جزء صغير سيعني قفزة أكبر في الذكاء.

ماذا يعني ذلك عمليًا

الخلاصة للمطورين ومديري المنتجات هي أن الاختبارات المعيارية تتشبّع بسرعة، وأن معظم الاختبارات القديمة «أُغلقت» تقريبًا عند مستوى GPT-4. أما مؤشر التدريب المسبق فيبقى مرجعًا أكثر ثباتًا، وتقترح OpenAI جعله لغة مشتركة في القطاع. وعندما يعلن مختبر عن نموذج أساسي جديد، فمن المفيد أن نسأل لا عن درجات الاختبارات المعيارية فحسب، بل عن خطأ التنبؤ على مجموعة بيانات مفتوحة أيضًا.

ويتوقف تحوّل المقياس إلى معيار على المنافسين. فنشر الأرقام الداخلية يمنحهم صورة واضحة عن موقع OpenAI، وقد خاضت الشركة هذه المخاطرة عن قصد من أجل معايير أمان مشتركة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما هي الحيرة؟ شرح بمثال بسيط؟

لنفترض أن النموذج يرى بداية سطر برمجي def add(a, b): return a وعليه أن يتنبأ بتتمته. إذا كان يضع + b في أغلب الأحيان فإن خطأ التنبؤ منخفض. أما إذا كان يخمّن عشوائيًا فالخطأ مرتفع. تحسب الحيرة متوسط هذا الخطأ على مجموعة ضخمة من النصوص التي لم يرها النموذج أثناء التدريب. وعمليًا تنظر OpenAI إلى لوغاريتم الحيرة، وهو ما يعرف بالإنتروبيا المتقاطعة (cross-entropy). وهذا ليس نسبة مئوية للدقة: كلما انخفض الرقم كان تنبؤ النموذج أفضل. يصف باتشوكي النموذج المدرَّب بأنه «ضاغط».

ما أبرز التفاصيل حول لماذا الحدود وما الذي سيأتي لاحقًا؟

يسمّي الكاتب النافذة التالية بنحو 0.68–0.70. ويقول بصراحة إنه لا يعرف أي القدرات ستظهر هناك، ولا إن كنا قادرين أصلًا على اختبارها. كما يتوقع أن تعمل عمليات تدقيق المواءمة (alignment) المعتادة بصورة أسوأ، وأن تصبح النماذج أقدر على إدراك أنها تخضع للاختبار. ولذلك تقترح OpenAI معيارًا على مستوى القطاع. تتفق المختبرات مسبقًا على حد أول للحيرة ولقياسات أخرى، وتلتزم بعدم تجاوزه إلى أن تبلغ مرحلة محددة في فهم سلوك الذكاء الاصطناعي ومراقبته. ومثال على هذه المرحلة: خليفة أدوات مراقبة سلاسل الاستدلال (CoT-monitors).

ما أبرز التفاصيل حول حدود هذا المقياس؟

يعدّد باتشوكي نفسه عيوب المقياس: تستخدم المختبرات مجموعات اختبار وخلائط بيانات مختلفة، ولذلك لا تزال المقارنة المباشرة غير ممكنة؛ تحسب OpenAI الحيرة على عينة من شيفرتها الداخلية، وهذا القياس يعكس القدرات العامة لـ GPT-2 وGPT-3 بصورة ضعيفة؛ الحيرة لا تقابل مهمة تطبيقية بعينها، والاستدلال بسلسلة الأفكار لا يخفضها، مع أنه يقوّي النموذج بشدة؛ الحد الأدنى للبيانات نفسها مجهول: لا يمكن بلوغ الصفر، ومع الاقتراب من هذا الحد الأدنى سيتباطأ التقدم على المقياس، وإن كان كل جزء صغير سيعني قفزة أكبر في الذكاء.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…