LILIE يعلّم توليد الصور عبر اللغة ويخفض gFD من 66,84 إلى 53,01

قدّم فريق من الباحثين LILIE (يُنطق «ليلي») — Language-Informed and Lossless Image Encoder، وهو مرمّز صور عكوس يُدرَّب مع نموذج رؤية ولغة (vision-language). وعلى أساسه بنى المؤلفون دالة خسارة بسيطة تراعي اللغة لتوليد الصور من النص. في تجارب على نماذج JiT باستخدام مجموعة البيانات GPIC، انخفضت مقياس gFD من 66,84 إلى 53,01، أي بنحو 14 نقطة مقارنةً بالنموذج الأساسي المدرَّب على الخسارة البكسلية فقط. وقد أتيحت الشيفرة والمرمّزات والنماذج التوليدية للعموم.

لماذا تحتاج البكسلات إلى اللغة

في الآونة الأخيرة، تحقق نماذج التوليد من البداية إلى النهاية (end-to-end) في فضاء البكسلات مباشرةً نتائج منافسة دون مرمّزات صور مدرَّبة. وهذا يبسّط خط المعالجة: إذ تختفي مرحلة تدريب المشفّر التلقائي (autoencoder) المنفصلة وما يرتبط بها من فقدان للمعلومات. لكن تبقى نقطة ضعف: فالخسارة البكسلية تقيس الفرق بين الصورة المولَّدة والصورة المرجعية بالبكسل، ولا تعرف بنفسها أي التفاصيل مهمة دلالياً وأيها ليست كذلك.

يختبر المؤلفون فرضية مفادها: هل يمكن للإشراف اللغوي (language supervision) أن يوفّر إشارة تدريب أغنى من مقارنة البكسلات؟ ولا يبحثون عن الجواب عبر مرمّز كامن (latent tokenizer) جديد، بل عبر مرمّز منفصل يُستخدم مصدراً للخسارة فقط.

كيف يعمل LILIE

LILIE تحويل عكوس للصورة. وفي اسمه كلمة Lossless: إذ يمكن نظرياً استعادة الصورة كاملةً من خصائصها. ومعمارياً، هو normalizing flow transformer.

وتكمن الحيلة الأساسية في التدريب. يُدرَّب المرمّز بالتزامن مع نموذج رؤية ولغة عبر التنبؤ بالرمز التالي. يتلقى نموذج الرؤية واللغة (VLM) خصائص مشوَّشة، وعليه أن يستعيد منها وصف الصورة. ولكي ينجح في ذلك حتى مع الضجيج، يجب أن تحتفظ الخصائص بالمحتوى الدلالي، لا بالملمس منخفض المستوى فقط.

بعد التدريب، يُحوَّل المرمّز إلى دالة خسارة لتوليد الصور من النص. تُقارَن مخرجات النموذج التوليدي بالهدف لا في البكسلات فحسب، بل في فضاء خصائص LILIE أيضاً. ويصف المؤلفون هذه الخسارة بأنها بسيطة. أما الصيغة الدقيقة وأوزان الحدود فلم تُكشف في الملخص.

ماذا أظهرت التجارب

درّب المؤلفون نماذج JiT بخسارة LILIE وقارنوها بالنسخة التي استخدمت الخسارة البكسلية فقط.

• الطريقة: normalizing flow transformer يُدرَّب بالتزامن مع VLM عبر next token prediction
• المهمة: توليد الصور من النص
• النموذج التوليدي: JiT
• مقياس gFD: من 66,84 إلى 53,01 (−13,83 نقطة، أي نحو −21%)
• مجموعة البيانات: GPIC
• متاح للعموم: الشيفرة والمرمّزات والنماذج التوليدية

التحسن ملحوظ، لكن الصورة بحسب الملخص غير مكتملة. فقد نُشرت نتيجة واحدة على مجموعة بيانات واحدة وبمقياس واحد. ويقيّم gFD مدى تقارب توزيعات الصور المولَّدة والحقيقية، ولا يضمن أن النموذج يتبع التعليمات النصية (prompt) بدقة أكبر. كما أن أحجام النماذج وتكلفة التدريب بالخسارة الإضافية والمقارنة مع نماذج الانتشار الكامنة القوية غير معروفة. والمقارنة أُجريت مع خط أساس (baseline) بكسلي، لا مع النماذج الرائدة في السوق.

ما الذي ينبغي اختباره عملياً

بالنسبة إلى من يدرّبون نماذجهم التوليدية الخاصة، فالاهتمام هنا تطبيقي. وبما أن الشيفرة والمرمّزات منشورة، يمكن تجربة خسارة LILIE حداً إضافياً إلى التدريب البكسلي القائم، دون تغيير معمارية النموذج التوليدي نفسه.

ما ينبغي قياسه أولاً:

• كلفة التدريب الإضافية: يجب تشغيل المرمّز في كل خطوة، وهذا يستهلك ذاكرة ووقتاً؛
• التحسن على مجموعة بياناتكم، وليس على GPIC فحسب، وليس بمقياس gFD وحده، بل أيضاً بمقاييس الاتساق مع النص وبالتقييم البشري؛
• ثبات الأثر عند تغيير حجم النموذج ومدة التدريب.

إذا استمر هذا المكسب، فسيمنح النهج النماذج البكسلية وسيلة للحصول على إشارة دلالية دون العودة إلى المرمِّزات. وإن لم يستمر، فستكون النتيجة مفيدة في فهم حدود الإشراف اللغوي. والجواب ستقدمه عمليات إعادة الإنتاج المستقلة.