تعليم النماذج الانتشارية المقطّرة «نسيان» المحتوى غير المرغوب عبر DPO

أصبحت نماذج تحويل النص إلى صورة السريعة، المضغوطة إلى بضع خطوات توليد بدلًا من عشرات الخطوات، معيارًا للمنتجات منخفضة زمن الاستجابة. لكنها ورثت من النماذج الأساسية، إلى جانب السرعة، القدرة على رسم ما لا ينبغي رسمه: أشخاص بعينهم، وعري، وأشياء محمية. ويرى مؤلفو مسودة جديدة على arXiv (cs.CV) أن الطرق الحالية لإزالة هذه المفاهيم تعمل بشكل سيئ على النماذج المقطّرة، ويقترحون نسختهم الخاصة القائمة على Direct Preference Optimization.

لماذا يفشل unlearning التقليدي على النماذج المقطّرة

تعتمد معظم طرق النسيان القائمة على البيانات (data-driven) على إعادة تدريب أوزان النموذج بدوال هدف خاصة. وتستند هذه الدوال ضمنيًا إلى ديناميكية إزالة الضوضاء متعددة الخطوات: يُنقّي النموذج الصورة تدريجيًا، فتتوزع إشارة «النسيان» على مسار طويل. أما في نماذج few-step distilled (FSD) فقد انضغط المسار إلى بضع خطوات فقط، وصارت ديناميكية التوليد مختلفة، فلم يعد هذا الافتراض قائمًا. والنتيجة، بحسب المؤلفين، نسيان غير فعّال: يستمر المفهوم المستهدف في الظهور.

والحل البديل واضح. يمكن تنفيذ unlearning على النموذج الأساسي غير المقطّر، ثم إجراء التقطير من جديد. لكن ذلك يتطلب حوسبة ووقتًا كبيرين، وهو غير عملي في سيناريوهات كثيرة، خصوصًا حين يُحدَّث النموذج الأساسي وتتسع قائمة المفاهيم المحظورة.

ماذا يقترح المؤلفون

عاد الباحثون إلى Direct Preference Optimization للنماذج الانتشارية. تُصاغ صيغة DPO القياسية ومشتقاتها الخاصة بـ unlearning حول خطأ التنبؤ بالضوضاء. وعلى نماذج FSD لا تنتقل هذه الصياغة جيدًا، وذلك بسبب تغيّر ديناميكية التوليد تحديدًا.

وبدلًا من ذلك، يقدّم المؤلفون صيغة معدّلة من preference optimization متوافقة صراحةً مع خصائص التوليد بعدد خطوات قليل. والفكرة هي إزالة المفهوم مباشرة داخل النموذج المقطّر، دون المساس بسرعته ودون إتلاف بقية مهاراته.

معطيات العمل التي كُشف عنها في الملخص:

• الهدف: النماذج الانتشارية المقطّرة قليلة الخطوات (few-step distilled) لتحويل النص إلى صورة.
• الطريقة: unlearning مدفوع بالتفضيلات، قائم على DPO معاد صياغته ليناسب توليد FSD.
• المهام الرئيسية: إزالة الشخصيات (identity) ومحتوى NSFW (العري).
• إضافةً إلى ذلك: unlearning على مستوى الأشياء.
• الخصائص المعلنة: نسيان مستقر للمفاهيم المستهدفة، والحفاظ على نمط التوليد بخطوات قليلة، وإبقاء قوي على القدرات «المسموح بها».
• لا يورد الملخص مقاييس رقمية، ويجب البحث عنها في النص الكامل للورقة.

ماذا على الفرق التي تطلق نماذج سريعة أن تفعل

بالنسبة إلى من ينشرون نماذج مقطّرة في بيئة الإنتاج، الخلاصة العملية الرئيسية هي أنه لا يجوز اعتبار نقل أساليب السلامة من النموذج الأساسي إلى النموذج المقطّر أمرًا تلقائيًا. يجب إجراء الفحص على نموذج FSD نفسه، وعلى أعداد الخطوات المستخدمة فعليًا في الخدمة. فإذا «نسي» المرشِّح مفهومًا عند 50 خطوة، فهذا لا يضمن شيئًا عند 1–4 خطوات.

ما زال العمل مسودة أولية، وليس له تحقق مستقل. وقبل اعتماده، يحسُن انتظار الشيفرة ونقاط التحقق (checkpoints)، وتشغيل مجموعات red-team الخاصة بكم من الأوامر النصية، وقياس التدهور الجانبي، مثل تأثير إزالة شخصية معينة في توليد أشخاص متشابهين معها في المظهر. ومن المفيد أيضًا مقارنة تكلفة هذا النهج بتكلفة إعادة التقطير على عتادكم، فتوفير الوقت والحوسبة هو الحجة الرئيسية هنا.

أما في السيناريوهات التنظيمية والقانونية، من طلبات حذف البيانات البيومترية وصورة الشخص إلى إدارة محتوى NSFW، فإن إمكانية تعديل نموذج مضغوط أصلًا بشكل مباشر تبدو أكثر ملاءمة بوضوح من إعادة بناء خط الإنتاج بأكمله. أما مدى مقاومة الطريقة للأوامر النصية الالتفافية ولإعادة التدريب على يد مهاجم، فلا يتناوله المؤلفون في الملخص، ويبقى هذا السؤال مفتوحًا.