كاشف «نفايات الذكاء الاصطناعي» المكتوب ذاتيًا يلتقط برمجيًا 5 من 12 علامة على النص المولَّد بالذكاء الاصطناعي

وزّع كاتب على موقع Habr 12 علامة من علامات «نفايات الذكاء الاصطناعي» (AI slop)، أي النص الذي أنتجته الشبكة العصبية ولم يراجعه أحد، على فحوص كاشفه الخاص. يلتقط الكود خمس علامات، اثنتان منها جزئيًا. أما السبع الباقية فلا تقوم إلا على قواعد يطبقها المحرر. وفي الاختبار مرّت من السكربت دون التقاط عبارتان افتتاحيتان نموذجيتان: «В этой статье мы рассмотрим» (في هذه المقالة سنتناول) و«Вывод простой» (الخلاصة بسيطة) متبوعة بنقطتين رأسيتين.

لماذا لا تصلح النسبة المئوية الإجمالية شيئًا

تجيب الكاشفات عبر الإنترنت برقم، ولا تشرح ما الخلل في النص بالضبط. والنسبة نفسها غير موثوقة. ففي دراسة Liang وزملائه، صنّفت سبعة كاشفات في المتوسط 61% من مقالات TOEFL على أنها من إنتاج الآلة، مع أن كتّابها بشر ليست الإنجليزية لغتهم الأم. يخطئ هذا النوع من الكاشفات بصورة منهجية حين يكتب المؤلف بدقة وحذر، لأن ذلك عنده من علامات «الآلية».

أغلقت OpenAI المصنِّف الخاص بها للنصوص المولَّدة بالذكاء الاصطناعي في صيف 2023 بسبب انخفاض دقته. وإذا لم ينجح مطوّر النماذج نفسها في بناء أداة عامة موثوقة، فمن الصعب توقع ذلك من خدمة عشوائية تكتفي بعرض نسبة مئوية.

فحص ضيق بدل حكم شامل

يختار المؤلف تصميمًا مختلفًا. فالسكربت يذكر العبارة المحددة والقاعدة التي أثارتها، ويمكن مناقشة كل حالة التقاط على حدة. ولا يرى المحرر عبارة «هذا النص كُتب بالذكاء الاصطناعي بنسبة 73%»، بل «هذه العبارة الافتتاحية وهذه القاعدة».

والمنطق نفسه يتبعه محررو ويكيبيديا. فهم يحتفظون بقائمة مفتوحة بعلامات النص المولَّد بالذكاء الاصطناعي، ويصرّحون بأن العلامة تشير إلى مشكلة محتملة ولا تثبت شيئًا بمفردها. ويقوم السكربت على الافتراض ذاته: فهو يبحث عن آثار نص لم تتم مراجعته، ولا يحدد هوية كاتبه. وقد سبق أن حُلّلت الدرجة الإجمالية لهذا الكاشف على Habr في مادة منفصلة.

الحصيلة بالأرقام

• إجمالي علامات «نفايات الذكاء الاصطناعي» في التحليل: 12.
• ما يلتقطه الكود: 5، منها 2 جزئيًا.
• ما يبقى للمحرر وحده: 7.
• ما فات الاختبار: «В этой статье мы рассмотрим» و«Вывод простой:».
• الإيجابيات الكاذبة بحسب Liang وزملائه: في المتوسط 61% من مقالات TOEFL التي كتبها أشخاص ليست الإنجليزية لغتهم الأم.
• أُغلق مصنِّف OpenAI في صيف 2023.

أين يقع الحد الفاصل بين الكود والمحرر

لا تسرد المادة التمهيدية العلامات الـ12 كلها، والتحليل الكامل موجود في الجزء المطوي. لكن العبارتين اللتين فاتتا الفحص ترسمان الصورة العامة. فحتى العبارات الافتتاحية القالبية، التي تبدو هدفًا مثاليًا للتعبير النمطي (regex)، تفلت إذا تغيّر شكلها: فعل آخر، أو علامة ترقيم، أو ترتيب الكلمات. هذه قراءتي أنا لا استنتاج المؤلف، لكنها منطقية. فالكود موثوق حيث تكون العلامة على السطح وتتكرر حرفيًا. أما العلامات التي تتطلب فهم المعنى فتبقى للإنسان: التعميم الفارغ، وغياب التفاصيل المحددة، والفقرة التي يمكن حذف نصف كلماتها دون خسارة.

كيف تطبّق ذلك عمليًا

إذا كنت تبني فحصًا لغرفة تحرير أو لمدونتك الخاصة، فيمكنك أن تأخذ من التحليل عدة قواعد.

• قسّم العلامات إلى قائمتين: ما يفحصه السكربت وما يفحصه الإنسان. ولا تحاول حشر كل شيء في الكود.
• يجب أن تعرض كل حالة التقاط العبارة والقاعدة. عندها يستطيع المحرر قبولها أو رفضها في ثوانٍ.
• أثرِ القاموس انطلاقًا من الحالات الفائتة. فالعبارتان اللتان مرّتا دون التقاط مهمة جاهزة للتكرار التالي.
• لا تستخدم النتيجة دليلًا على هوية الكاتب. وكن أشد حذرًا مع نصوص الكتّاب الذين ليست اللغة لغتهم الأم، فأخطاء الكاشفات تصيبهم أكثر من غيرهم.
• أبقِ المراجعة التحريرية خطوة إلزامية. فالسكربت يقلّص العمل اليدوي ولا يحل محله.

الخلاصة بسيطة: فحص يشرح نفسه أنفع من حكم يُطلب منك تصديقه دون دليل.