Apple ML Research تدرس الـ alignment في نماذج LLM متعددة الوسائط وميلها إلى الهلوسة

نشرت Apple ML Research دراسة شاملة عن مواءمة التفضيلات (preference alignment) في النماذج اللغوية متعددة الوسائط (MLLM)، وهي أنظمة قادرة على معالجة النصوص والصور في آن واحد. ويؤكد الباحثون أن الـ alignment، التي أصبحت معيارًا في نماذج LLM النصية، لا تزال أقل دراسة بكثير في السياق متعدد الوسائط.

لماذا تُعد هلوسة نماذج MLLM أكثر تعقيدًا من المعتاد

تهلوس النماذج متعددة الوسائط بطريقة تختلف عن نماذج LLM النصية. ووفقًا لدراسة Apple ML Research، تظهر الهلوسة في أنظمة فهم الصور بشكلين: أخطاء واقعية، حين يذكر النموذج وقائع خاطئة عن العالم، وعدم اتساق في المضمون، حين تبدو الإجابة مقنعة لكنها تناقض ما هو مصوَّر فعليًا في الصورة.

ويُعد النوع الثاني أكثر مكرًا. فإذا وصف النموذج سيارة زرقاء في الصورة بأنها حمراء، أو سمّى لقطة صيفية شتوية، فهذا ليس خطأً في المعرفة، بل خطأ في «الرؤية». وهذا تحديدًا ما يستهدفه alignment في الأنظمة متعددة الوسائط.

«الهدف الرئيسي من alignment في نماذج MLLM هو دفع هذه النماذج إلى مواءمة إجاباتها مع المعلومات الواردة في الصورة»، بحسب ما جاء في منشور

Apple ML Research.

كيف يعمل preference alignment

يُعد preference alignment تقنية لإعادة تدريب النموذج (fine-tuning)، تُعرض فيها على النموذج أزواج من الإجابات، ويُحدَّد أيّها «الأفضل» وفق معايير معينة. وفي نماذج LLM النصية، أصبح هذا النهج، بما في ذلك RLHF (التعلم المعزز من التغذية الراجعة البشرية، Reinforcement Learning from Human Feedback) ومشتقاته، معيارًا فعليًا بعد ظهور InstructGPT وChatGPT. أما في الأنظمة متعددة الوسائط، فلم تُجرَ حتى الآن دراسات منهجية مماثلة تقريبًا.

أبرز نقاط الدراسة:

• preference alignment ضرورية جدًا لجودة LLM، لكن تأثيرها في MLLM لم يُدرس عمليًا
• في MLLM يؤدي alignment مهمة إضافية: ربط إجابة النموذج بالمحتوى البصري الفعلي
• تنقسم الهلوسة في MLLM إلى نوعين: واقعية وبصرية (عدم تطابق الإجابة مع الصورة)
• تُجري Apple ML Research تحليلًا مقارنًا منهجيًا لتقنيات alignment في مهام فهم الصور

ووفقًا للدراسة، تُعد هذه الدراسة من أولى المحاولات الشاملة لسدّ الفجوة بين مدى ما هو معروف عن alignment في النماذج النصية، ومدى ما هو معروف عن تأثيرها في الأنظمة متعددة الوسائط، وهو قليل جدًا.

لماذا يهم ذلك الصناعة

تُستخدم النماذج متعددة الوسائط اليوم في التشخيص الطبي وإدارة المحتوى والمساعدات الاستهلاكية، من Google Lens إلى Apple Intelligence. وفي كل من هذه السيناريوهات، تكون كلفة هلوسة من نوع «أرى ما ليس موجودًا» أعلى بكثير من كلفة الخطأ النصي: فقراءة خاطئة لصورة أشعة سينية، أو تحديد خاطئ لجسم على الطريق، تترتب عليهما عواقب مباشرة.

وتأتي دراسة Apple ML Research في وقت تنتقل فيه الأنظمة متعددة الوسائط من النماذج الأولية المخبرية إلى الانتشار الواسع. وأصبح فهم كيفية تشكيل alignment لدقة «رؤية» النموذج مسألة جوهرية للقطاع بأكمله.

ماذا يعني ذلك

تكشف دراسة Apple ML Research عن ثغرة منهجية: فالصناعة تطوّر النماذج متعددة الوسائط وتطرحها بنشاط، لكن آلية مواءمتها مع المحتوى الفعلي للصور ظلت قليلة الدراسة. وإذا أصبحت نتائج الدراسة أساسًا لأساليب تدريب جديدة، فسينعكس ذلك مباشرة على جودة المنتجات التي تتعامل مع المحتوى البصري، ومنها Apple Intelligence والأنظمة المماثلة.