كاتب على Habr يختبر عدد التعديلات اللازمة لمحو العلامة المائية في نصوص LLM

أخذ كاتب على Habr على عاتقه قياس مسألة لا يزال الجدل حولها نظريًا: إلى أي مدى يجب تغيير النص حتى تتوقف العلامة المائية لنموذج اللغة عن أن تكون قابلة للقراءة. وجاء الدافع من ادعاء بأن Claude يضع علامة على مخرجاته بالفعل، وأن OpenAI تطبّق آلية مماثلة. تطرح المقدمة أربعة أسئلة ولا تتضمن أي نتائج، إذ يؤجل الكاتب القياسات نفسها إلى الجزء الرئيسي. لكن الأسئلة دقيقة، وهي التي تحدد ما يمكن توقعه من العلامات عمليًا.

كيف تعمل العلامة

لا تختبئ العلامة المائية النصية في الأحرف. فهي عادةً انحياز إحصائي في اختيار الرموز (tokens): يحدد مفتاح سري الكلمات التي يمنحها النموذج وزنًا أكبر قليلًا. ولا يلاحظ القارئ أي فرق. أما الكاشف الذي يملك المفتاح فيحسب نسبة الرموز «المفضَّلة» ويقارنها بالنسبة المتوقعة في نص عشوائي. وقد وصف باحثون من جامعة ميريلاند في عام 2023 نظام «القوائم الخضراء» و«القوائم الحمراء»، ثم أصدرت Google لاحقًا نسختها الخاصة SynthID-Text.

لا توضح المقدمة أي نظام تستخدمه Claude وOpenAI تحديدًا. ويحيل الكاتب إلى تحليلين على Habr يشرحان الآلية بالتفصيل، بما في ذلك طرق التحايل عليها.

ومن هنا تنبع الخاصية الأهم: تتراكم الإشارة مع طول النص. فالجملة الواحدة لا تثبت شيئًا تقريبًا، أما النص الطويل فيثبت الكثير. وأي استبدال للكلمات يُضعف هذه الإشارة.

أسئلة التجربة الأربعة

• عمق إعادة الصياغة. كم يجب أن يُعاد كتابته من «كتلة نصية طويلة من حشو الشبكات العصبية» حتى لا يضع الكاشف عليها علامة بثقة. والمقياس هو نسبة الرموز المعدَّلة.
• علامتان معًا. إذا أعاد نموذج آخر يحمل علامة مائية بدوره صياغة النص، فهل ينتج نص يحمل أثرين، وبأي درجة من الثقة يمكن اكتشاف كل منهما.
• نص بشري عدّله الذكاء الاصطناعي. تصحيح الأخطاء وعلامات الترقيم، وإعادة كتابة فقرتين: أين يقع الحد الذي يُعدّ النص بعده مولَّدًا.
• الشيفرة البرمجية. أين يمكن أصلًا أن تقع العلامة: في التعليقات، أم في الأقواس الزائدة، أم في أسماء المتغيرات.

السؤال الأخير هو الأكثر إثارة من الناحية التقنية. فالعلامة الإحصائية تحتاج إلى حرية في الاختيار: أي أن يكون أمام النموذج عدة استكمالات متكافئة تقريبًا. وفي النص العادي توجد مواضع كثيرة من هذا النوع. أما في الشيفرة فيحدد بناء اللغة وواجهات API معظم الرموز بصرامة، ولا يبقى سوى حيّز أضيق للانحياز. وهذا مبدأ عام في مثل هذه الأنظمة، وليس نتيجة توصل إليها الكاتب. وستتضح في الجزء الرئيسي مدى تأكيد القياسات له في النماذج التجارية.

ما لا يزال مجهولًا

لم تظهر كاشفات خاصة بـ Claude وOpenAI في متناول الجميع، وفق ما يتبين من النص. ويفترض الكاتب أنها ستظهر يومًا ما، وحينها سيمكن فحص النصوص المكتوبة سابقًا بأثر رجعي. وهذا هو الخطر الرئيسي الذي يصفه: تقرير لعميل، أو بحث علمي، أو نص أدبي تتحمل مسؤوليته شخصيًا.

وللكشف جانب آخر. فأي عتبة للثقة تنتج إنذارات كاذبة، خاصة في النصوص القصيرة وفي النصوص التي عدّلها نموذج تعديلًا خفيفًا. لذلك لا تهم نتائج قياسات السؤال الثالث من يريد إزالة العلامة فحسب، بل أيضًا من قد يُتَّهم دون وجه حق.

استنتاجات عملية

ما دامت الكاشفات العامة والقياسات المنشورة غير متوفرة، فمن المعقول التصرف بهدوء وبشكل استباقي.

• احتفظ بالمسودات وسجل التعديلات. فهذا أفضل دليل على التأليف، وأفضل من أي كاشف.
• إذا كنت تعمل مع عميل أو مجلة، فاستوضح مسبقًا سياستهم تجاه الاستعانة بالذكاء الاصطناعي، ودوّن الاتفاق كتابيًا.
• لا تعدّ إنذار الكاشف حكمًا نهائيًا: فالعلامة تعطي احتمالًا لا دليلًا.
• لا يُنصح بإرسال البيانات السرية إلى النماذج السحابية بغرض «تحسين» النص، بصرف النظر عن العلامات المائية.
• انتظر الجزء الرئيسي من التجربة، وقارن الاستنتاجات بالمنهجية: حجم العينة، ولغة النصوص، وإصدارات النماذج.

قد تقدم التجربة على Habr أولى المؤشرات حول عتبات التعديل. أما الآن، فما لدينا أسئلة وليس إجابات.