GPT-4o mini يلتزم بـ 37–38 قاعدة لاستبدال الكلمات بدقة 95%

يقترح بحث نُشر في Hugging Face Daily Papers قياس حدّ النموذج اللغوي بعدد القواعد، كما يُقاس حجم الذاكرة. وحدة الحِمل هنا قاعدة واحدة بصيغة «استبدل الكلمة أ بالكلمة ب» داخل نص بلا معنى. تُسمّى النتيجة «سعة التعليمات» (instruction capacity)، وهي عدد هذه القواعد التي ينفذها النموذج قبل أن تنخفض نسبة الاستبدالات الصحيحة عن عتبة محددة. وبالنسبة إلى GPT-4o mini، تُبلغ عتبة 95% من الاستبدالات الصحيحة عند 37–38 قاعدة. وإذا شغلت الكلمات المطلوب استبدالها أكبر حصة ممكنة من النص، تنخفض السعة إلى 18–19 قاعدة.

لماذا لا تعطي الاختبارات القديمة رقمًا واحدًا

من المعروف منذ زمن أن الجودة تتراجع مع ازدياد عدد الشروط. لكن التعبير عن حدّ النموذج بوحدات الحِمل مع هامش خطأ لم يكن ممكنًا حتى الآن. ويعود السبب إلى الاختبارات نفسها، إذ تختلف التعليمات فيها في طبيعتها وصعوبتها. ففي IFEval مثلًا يُطلب «كتابة أكثر من 400 كلمة» أو «ذكر عبارة الذكاء الاصطناعي ثلاث مرات». وفي FollowBench تُضاف إلى المهمة قيود من خمسة أنواع واحدًا تلو الآخر. أما IFScale فيضم من 10 إلى 500 تعليمة من نوع واحد، وعند 500 تعليمة لا تنفذ أفضل النماذج العشرين سوى 68%. وكثيرًا ما يتولى التحقق نموذج آخر بدور القاضي، وهو يبالغ في تقدير النتيجة. ففي إحدى الدراسات المقتبسة، سجّل القاضي 0,657 عند عشر تعليمات، بينما سجّل التحقق البرمجي 0,213.

والنتيجة أن عدد التعليمات يختلط بتركيب المجموعة وبتزايد الصعوبة. احتاج المؤلف إلى تعليمة تخلو من هذه العيوب، أي تعليمة تكون:

• غير قابلة للتجزئة، فلا يمكن تنفيذها جزئيًا؛ • مستقلة عن القواعد الأخرى بحكم بناء المهمة؛ • متجانسة، فلا تكون القاعدة العاشرة أصعب من الأولى؛ • قابلة للتحقق برمجيًا؛ • قابلة للملاحظة في كل نقطة من الإجابة.

كيف صُمم القياس

يستوفي استبدال كلمة في نص بلا معنى هذه الشروط الخمسة كلها. فلكل استبدال نتيجة صحيحة واحدة بالضبط، ويحسب البرنامج الإجابة المرجعية. تُولَّد المهمة من ثلاث بذور عشوائية وتُعاد بمطابقة تامة بايتًا ببايت. وتُفحص الإجابة سطرًا سطرًا، وتُصنَّف الأخطاء في ثلاثة أنواع.

يصبح كل ظهور للكلمة المطلوب استبدالها تجربة مستقلة بنتيجة «صحيح أو خطأ»، ولها موضع معروف في الإجابة ورقم القاعدة في القائمة. وبهذا يقدّم نموذج واحد مئات الآلاف من الملاحظات، لا تقييمًا واحدًا لكل مهمة.

بعد ذلك يأتي دور النموذج الإحصائي. فهو يقيس أولًا، ضمن فواصل، كيف يعتمد احتمال الاستبدال الصحيح على خمسة عوامل:

• طول النص؛ • موضع الكلمة؛ • كثافة الاستبدالات؛ • عدد القواعد؛ • رقم القاعدة في القائمة.

ثم تُوصف هذه الاعتمادات بقوانين ملساء. ويعيد تصحيح تحيّز التقريب المستوى الأساسي المستقل عن اختيار الترميز. وتُحسب السعة بوصفها حلًّا لمسألة عكسية: عند أي حِمل ينخفض الاحتمال إلى المستوى المطلوب. ويُحتسب هامش الخطأ بطريقة دلتا، ويراعي تباين صعوبة الطلبات الفردية.

ماذا حقق GPT-4o mini

استغرق القياس 2958 طلبًا و642 430 تجربة. وأظهر النموذج تدهورًا منتظمًا مع كل عامل من عوامل الحِمل. ووُصفت على حدة أنماط «انهيار» الإجابة، أي بأي سرعة وفي أي موضع تتداعى. وإلى جانب السعة عند 95% من الاستبدالات الصحيحة، يذكر المؤلف سعتين أخريين هما سعة الإجهاد والسعة المضمونة. وتعريفاهما في نص البحث أكثر تفصيلًا مما في المقدمة.

أهم الأرقام:

• نحو 37–38 قاعدة عند نسبة استبدالات صحيحة 0,95؛ • نحو 18–19 قاعدة عند كثافة استبدالات كاملة.

يبيّن الفارق البالغ الضعف أن الحدّ لا يتوقف على عدد القواعد وحده، بل على مدى كثافة تفعيلها في النص. وهذا مهم لمن يصمّم المطالبات (prompts): فقائمة القواعد نفسها قد تكون آمنة على نص قليل الاستبدالات وغير موثوقة على نص كثيف.

نُشرت شيفرة الأداة وبيانات القياس و«جواز» النموذج. ويمكن إعادة حساب كل رقم في الجواز من النقاط المنشورة، أي أن النتيجة قابلة للتحقق.

ما فائدة ذلك للمهندسين

يرى المؤلف أن جواز النموذج معايرة لـ«مقياس حِمل» مستقبلي للمطالبات. والفكرة هي تقدير صعوبة أي مطالبة بالوحدات نفسها التي تُقاس بها سعة النموذج، ومعرفة مسبقًا ما إذا كانت تدخل في حدّه. وهذا حتى الآن طرح للمستقبل وليس أداة جاهزة.

والقيود واضحة أيضًا. فقد قيس نموذج واحد فقط هو GPT-4o mini، والمهمة مصطنعة: استبدال كلمات مفردة في نص بلا معنى. أما التعليمات الواقعية المتعلقة بالأسلوب والصيغة واستخدام الأدوات فأكثر تعقيدًا. وقد أظهر اختبار AgentIF، المبني على مطالبات وكلاء حقيقيين، أن حتى أفضل النماذج تنفذ بالكامل أقل من 30% من التعليمات. ويرسي جواز استبدال الكلمات مقياسًا أدنى نقيًّا، لكنه لا يحل محل هذه الاختبارات.

والخلاصة العملية: إذا اعتمد وكيل على قائمة طويلة من القواعد المستقلة في مطالبة النظام، فينبغي مقارنة عددها بالسعة المقيسة للنموذج وترك هامش احتياطي. وعند المقارنة بين النماذج أو بين أجيال الخط الواحد، تمنح السعة مع هامش الخطأ مقياسًا أكثر إنصافًا من متوسط الدرجات على مجموعة غير متجانسة.