100 تكرار في ChatGPT تخفض خطأ قياس ظهور الموقع إلى ±10 نقاط

استشهد ChatGPT بموقعك أمس، لكن الرابط غاب اليوم عند طرح السؤال نفسه. هذا لا يعني بعد أن الموقع فقد ترتيبه. تتغير إجابات محركات البحث المعتمدة على الذكاء الاصطناعي من تشغيل إلى آخر: يعيد النموذج صياغة السؤال الأصلي، ويرسل عدة استعلامات بحث داخلية، ويحصل على صفحات مختلفة، ثم يبني إجابته منها.

لذلك لا تمنح عملية تشغيل واحدة سوى نتيجة «نعم» أو «لا». وهي لا توضح مدى تكرار ظهور الموقع في الإجابات. بالنسبة إلى مطور أدوات التحليلات أو فريق منتج أو صاحب عمل، هناك مقياس أكثر فائدة: نسبة التكرارات التي ظهر فيها النطاق ضمن المصادر، إلى جانب نطاق عدم اليقين الإحصائي.

إجابة واحدة لا تقيس شيئًا

لنفترض أن الموقع يظهر فعليًا في 30% من الإجابات. في أي عملية تشغيل منفردة، يبلغ احتمال عدم ظهوره 70%. لذلك قد يكون الرابط موجودًا أمس ويختفي اليوم من دون أي تغيير في الموقع أو النموذج أو فهرس البحث.

للحصول على رقم، يجب طرح السؤال نفسه مرات عديدة وفي ظروف متطابقة. إذا ظهر النطاق في 6 إجابات من أصل 20، تكون نسبة الظهور المرصودة 30%. لكن العينة صغيرة: يمتد فاصل ويلسون عند مستوى 95% من نحو 15% إلى 52%. بعبارة أخرى، تظل النتيجة متوافقة سواء مع ظهور الموقع نادرًا أو مع ظهوره في قرابة إجابة من كل إجابتين.

عند تسجيل 30 ظهورًا من أصل 100، تظل النسبة نفسها — 30% — لكن الفاصل يضيق إلى نحو 22–40%. ويصبح هذا القياس أكثر فائدة بوضوح عند مقارنة الفترات واختبار الفرضيات.

يُعد فاصل ويلسون هنا أنسب من الصيغة البسيطة «النسبة زائد أو ناقص الخطأ المعياري». ففي العينات الصغيرة وعند ندرة مرات الظهور، قد تنتج الصيغة البسيطة حدًا أدنى سالبًا لا معنى له. أما فاصل ويلسون فيظل ضمن النطاق من 0% إلى 100% ويقدم أداءً أفضل عندما يكون عدد المشاهدات قليلًا.

كم عدد عمليات التشغيل المطلوبة

يعتمد عدد التكرارات على هامش الخطأ المقبول. عند مستوى ثقة 95%، يعطي التقدير المتحفظ نحو 25 عملية تشغيل لخطأ قدره ±20 نقطة مئوية، و43 عملية لخطأ ±15 نقطة، و97 عملية لخطأ ±10 نقاط، و385 عملية لخطأ ±5 نقاط. يفترض الحساب نسبة تبلغ 50%، وهي الحالة التي تتطلب أكبر عينة؛ أما عندما يكون ظهور الموقع نادرًا، فقد يكون الفاصل الفعلي أضيق.

الحل العملي الوسط هو إجراء 60–100 تكرار لكل سؤال مهم. تمنح مئة عملية تشغيل خطأ بنحو ±10 نقاط في أسوأ الحالات. وإذا كان عدد العمليات أقل من 25، يصبح التقرير أقرب إلى الاستكشاف منه إلى استنتاج موثوق بشأن الارتفاع أو الانخفاض.

قبل التشغيل، يجب تثبيت نص السؤال حرفيًا، والمنطقة، وحالة الذاكرة، والنموذج، ومعيار احتساب الظهور. ويجب أيضًا تحديد ما إذا كان سيُحتسب فقط الرابط الظاهر للمستخدم أم أي صفحة اطّلع عليها النظام أثناء البحث. لا يجوز تغيير المعيار بين القياسات.

واجهة API والدردشة تعرضان أشياء مختلفة

لا يعكس القياس عبر واجهة API بالضرورة ما يراه المستخدم في واجهة ChatGPT. فقد تعيد API القائمة الكاملة للصفحات التي جرى الاطلاع عليها، بينما لا تعرض الدردشة سوى جزء من الاستشهادات. وإضافة إلى ذلك، يقرر النموذج أحيانًا عدم استخدام البحث من الأساس. يمكن تسجيل هذه الإجابة كحالة إخفاق، لكن يجب تطبيق القاعدة نفسها في جميع السلاسل.

لذلك يجب أن يحدد التقرير قناة القياس. ولا يمكن، من دون تحفظات، وصف النسبة المستخرجة من المصادر الداخلية لواجهة API بأنها مستوى الظهور للمستخدمين في ChatGPT.

كما لا يكفي أن تُقارن فترتان فقط بناءً على تداخل الفواصل المنفصلة أو عدم تداخلها: فهذا فحص تقريبي ملائم، لكنه ليس اختبارًا كاملًا للفرق بين نسبتين. وعند اتخاذ قرار مهم، من الأفضل الاحتفاظ بالنتائج الخام وتطبيق اختبار إحصائي يأخذ العينتين في الحسبان.

الحد الأدنى العملي للتقرير بسيط: السؤال الدقيق، وظروف التشغيل، وعدد التكرارات، وعدد مرات الظهور، والنسبة، وفاصل 95%. إذا عرض المتعهد إجابة ناجحة واحدة أو رقمًا نهائيًا واحدًا من دون حجم العينة، فهذا عرض توضيحي وليس قياسًا.