Habr: كيف نقيس نمطية نصوص الذكاء الاصطناعي بالشينغلز وMinHash

تزداد النصوص التي تكتبها الشبكات العصبية لأغراض التسويق بالمحتوى والإعلام تشابهاً: المدخل نفسه، وثلاث حجج، وفقرة بعنوان «الخلاصة». ويقترح تحليل على Habr قياس ذلك بمقاييس محددة: الشينغلز وMinHash ومؤشرات البنية. ولتقدير الحجم: يعطي MinHash بـ 128 دالة تجزئة خطأً معيارياً في تقدير التشابه لا يتجاوز 4,4 نقطة مئوية، وهذا يكفي للبحث عن القالب المتكرر في آلاف المواد. ولم يكشف الإعلان سوى عن الأطروحات الرئيسية، لذلك نشرح أدناه كيف تعمل هذه الطرق وأين يمكن تطبيقها.

من أين يأتي القالب

يختار النموذج التتمة الأكثر احتمالاً. وعند درجة حرارة منخفضة وتعليمات صارمة، يصل مراراً إلى الصياغات نفسها. ويضاف إلى ذلك التدريب الإضافي على التفضيلات البشرية: يميل المقيّمون إلى الموافقة على الإجابة المرتبة والمحايدة والجيدة البنية، فيثبّت النموذج هذا الأسلوب تحديداً. وتوثّق أبحاث RLHF انخفاض تنوع المخرجات مقارنة بالنماذج الأساسية.

العامل الثالث هو الـ prompts نفسها. تنسخ الفرق التعليمات الناجحة من بعضها، مثل «اكتب مقالاً بمقدمة (introduction) وثلاثة أقسام وخاتمة». وعلى الهيكل نفسه، تعطي نماذج مختلفة نتيجة متقاربة.

بماذا نقيس التشابه

الشينغلز هي نوافذ منزلقة من n كلمة. يتحول النص إلى مجموعة من هذه النوافذ، ويُحسب التشابه بمعامل جاكارد (Jaccard): حجم التقاطع مقسوماً على حجم الاتحاد. وفي اللغة الروسية تُؤخذ عادةً نوافذ من 3–5 كلمات، ويجب ضبط هذا المعامل بحسب النوع الصحفي.

تكمن المشكلة في التكلفة: فمقارنة كل الأزواج في مجموعة من 10 000 نص تعني نحو 50 مليون زوج. وهنا يأتي دور MinHash. يُضغط كل نص إلى توقيع قصير، وتقدّر نسبة المواضع المتطابقة بين توقيعين معامل جاكارد. وإذا أضفنا سلال LSH، يمكن العثور على المرشحين المتشابهين دون فحص شامل لكل الأزواج.

تلتقط الشينغلز التكرار المعجمي، لكنها تفوّت الهيكل المتطابق إذا اختلفت الكلمات. ولذلك نحتاج إلى مقاييس البنية:

• Jaccard على الشينغلز: نسبة n-grams المشتركة بين نصين؛
• تقدير MinHash: تقريب سريع للقيمة نفسها على المجموعات النصية الكبيرة؛
• distinct-n: نسبة n-grams الفريدة داخل مجموعة نصوص، وانخفاضها يشير إلى الرتابة؛
• self-BLEU: مدى تشابه كل نص مع بقية النصوص في العيّنة؛
• تباين طول الجمل والفقرات: يكون في النصوص النمطية ضئيلاً على نحو غير طبيعي؛
• تكرار بدايات الجمل وصياغات العناوين؛
• تشابه تسلسل الأقسام: المقدمة ثم القائمة ثم الخلاصة بالترتيب نفسه.

كيف نطبّق ذلك عملياً

ابدأ بخط أساس. خذ 100–200 نص كتبها بشر في مطبوعتك، واحسب المقاييس عليها. ثم افعل الشيء نفسه مع المواد المكتوبة بالذكاء الاصطناعي في المواضيع ذاتها. الفرق بين التوزيعين هو مستوى النمطية الحقيقي لديك، لا انطباع المحرر.

بعد ذلك حدّد العتبات وأدرج الفحص في خط الإنتاج. يُقارَن النص الجديد بعيّنة حديثة عبر MinHash وLSH، وإذا تجاوز العتبة يُعاد للتحسين. وينبغي النظر إلى مقاييس البنية على حدة، لأن ارتفاع مؤشراتها مع انخفاض مؤشر الشينغلز يعني هيكلاً متطابقاً بكلمات مختلفة.

إذا كانت المقاييس سيئة، فإن رفع درجة الحرارة ليس الحل الوحيد. ومما يفيد: نماذج أسلوبية مختلفة في الـ prompt، وتغيير بنية المهمة بحسب نوع المادة، واختيار زاوية العرض عشوائياً من قائمة معدّة مسبقاً، وإدراج مقاطع واقعية إلزامية: أرقام واقتباسات وبيانات داخلية. وهذا البند الأخير أهم من غيره، لأن النموذج لا يستطيع إعادة إنتاج واقعة لا يملكها بصورة نمطية.

أما قيد هذه الطريقة فبسيط: فهي تقيس الشكل لا الجودة. فقد يكون النص الفريد بحسب الشينغلز فارغاً، وقد يكون الهيكل المتكرر مبرَّراً أحياناً بالنوع الصحفي، كما في الموجز الإخباري. والمقاييس وُجدت لتكشف المشكلة، أما القرار فيبقى للمحرر.