تعديل 10% من الكلمات يخفض اكتشاف علامة OpenAI المائية من 92% إلى 66%

تبدو العلامة المائية للنص حلا مريحا: يضع النموذج علامة غير ملحوظة على إجابته، ثم يحدد كاشف متخصص منشأها لاحقا. لكن التطبيق العملي يصطدم بمشكلة مألوفة في المنتجات، إذ لا يتعين على المستخدم نشر الإجابة من دون تعديل. فقد يختصرها أو يعيد ترتيب العبارات أو يترجمها أو يطلب من نموذج آخر إعادة كتابتها. وبعد هذه المعالجة، تضعف الإشارة الخفية بسرعة.

قدمت OpenAI طريقة textGrain، المصممة، من بين أهداف أخرى، للامتثال لمتطلبات المادة 50 من قانون الذكاء الاصطناعي الأوروبي. وفي اختبارات الشركة، عثرت الطريقة على العلامة في نحو 95% من النصوص بطول 400 توكن، لكن في 80% فقط من النصوص بطول 200 توكن. وكان أثر التحرير أوضح: أدى استبدال 10% من الكلمات بمرادفات إلى خفض اكتشاف المقاطع ذات الـ400 توكن من 92% إلى 66%، بينما أدى استبدال 25% من الكلمات إلى خفضه إلى 17%.

كيف يحصل النص على علامة غير مرئية

في كل خطوة، يختار نموذج اللغة الكلمة التالية، أو جزءا منها، من بين عدة خيارات محتملة. فعلى سبيل المثال، بعد عبارة «الطقس اليوم…» قد يتابع بكلمة «دافئ» أو «معتدل». وباستخدام مفتاح سري، تؤثر العلامة المائية تأثيرا طفيفا في هذا الاختيار. تبدو الإجابة طبيعية للقارئ، لكن يظهر في تسلسل الكلمات نمط إحصائي يعرفه الكاشف.

تكمن خصوصية textGrain في إدارة الإنتروبيا، أي هامش التنوع المسموح به. يحدد المطور مقدار الحرية الذي يمكن إنفاقه على تضمين الإشارة، ويحاول النظام الحفاظ على توازن بين وضوح العلامة للكاشف وطبيعية الإجابة. ليست العلامة ختما أو تسجيلا في كل جملة؛ فلا تتكون الثقة إلا بعد تراكم عدد كاف من المؤشرات الإحصائية.

ومن هنا تأتي مشكلة الرسائل القصيرة. فقد لا تحتوي إجابة من جملتين على بيانات كافية ببساطة. ومع معدل إيجابيات كاذبة معلن يبلغ 1%، سيصنف الكاشف خطأ نحو نص واحد من كل مئة نص بلا علامة مائية. كما أن النتيجة الإيجابية لا توضح مقدار ما كتبه الإنسان، والنتيجة السلبية لا تثبت أن النص من تأليف بشري.

لماذا يفسد التحرير العادي عملية الفحص

لا تعتمد الإشارة على الكلمة المنفردة فقط، بل على التسلسل السابق لها أيضا. فإذا استبدل المحرر كلمة واحدة، فقد تتغير عدة أجزاء لاحقة من النمط الإحصائي دفعة واحدة. ولهذا، حتى التحرير الأدبي الهادئ، من دون محاولة متعمدة لخداع النظام، يضعف الاكتشاف بوضوح.

لنتخيل خدمة تولد وصفا لمنتج من 150 كلمة. يغير المدير العنوان، ويختصر التكرارات، ويستبدل نحو عشر صياغات. يظل معظم النص من إنشاء النموذج، لكن الكاشف قد يعيد بالفعل نتيجة سلبية. والخطأ العكسي مؤلم أيضا: عند فحص آلاف الواجبات الطلابية أو الطلبات، تتحول نسبة 1% من الإيجابيات الكاذبة إلى عشرات الشبهات غير المبررة.

لا يوجد حتى الآن تقييم مستقل لـtextGrain. وقد أتاحت OpenAI الوصول إليها لمجموعة محدودة من الباحثين، الذين لا يزال عليهم اختبار لغات وموضوعات وأطوال مختلفة. كما لم تؤكد اختبارات خارجية حتى الآن ادعاء الشركة بأنها تضاهي Google SynthID Text أو تتفوق عليها.

ما الذي ينبغي للمطورين وفرق المنتجات فعله

تتطلب القواعد الأوروبية وضع علامات قابلة للقراءة آليا على المحتوى الاصطناعي، على أن تكون فعالة وقابلة للتشغيل البيني ومتينة وموثوقة بالقدر الممكن تقنيا. لكن لا توجد حتى الآن عتبات قابلة للقياس لهذه الخصائص. وفي الوقت نفسه، لا تفرض مدونة الممارسات الطوعية علامات مائية على النصوص الأقصر من 200 توكن.

الخلاصة العملية بسيطة: لا يجوز تحويل نتيجة الكاشف إلى الأساس الوحيد للحظر أو الاتهام أو العقوبة. وفي المنتج التوليدي، من الأفضل الجمع بين عدة طبقات لإثبات المنشأ: العلامة المائية، والبيانات الوصفية الموقعة، ومعرف النموذج، وسجل التوليد، ووضع علامة واضحة في الواجهة. أما الحالات المتنازع عليها فتحتاج إلى مراجعة بشرية وإمكانية للاستئناف.

ينبغي للمطورين اختبار سيناريوهات الاستخدام الفعلية بصورة منفصلة: الاختصار، والترجمة، وتصحيح الأسلوب، واستبدال الكلمات، وإعادة التوليد. فالمقياس المحسوب على نص مختبري لم يُمس لا يقول الكثير عن أداء الميزة بعد النشر. تبدو textGrain إشارة إضافية مفيدة، لكنها ليست كاشفا عالميا للحقيقة — وينبغي تصميم المنتج مع وضع هذا القيد تحديدا في الحسبان.