Omni-Woodpecker يخفّض هلوسات نماذج LLM متعددة الوسائط (omni) دون إعادة تدريب: +12.9 على CMM

تعلّمت نماذج omni، التي تستمع إلى الصوت وتشاهد الفيديو في الوقت نفسه، أن تستدل بطريقة مقنعة، لكنها تخطئ بالإقناع نفسه. اقترحت مجموعة من الباحثين في جامعة نانجينغ (Zijian Liu وChaoyou Fu وYan Yang وCaifeng Shan وRan He) طريقة Omni-Woodpecker أو OWP، وهي تقلّل الهلوسات عبر الوسائط دون أي إعادة تدريب. مع Qwen2.5-Omni-7B تضيف الطريقة 12.9 نقطة على اختبار CMM و8.6 على AVHBench. نُشرت الورقة على arXiv تحت الرقم 2610.27103، وظهرت في Hugging Face Daily Papers.

أين يختل الربط بين الصوت والصورة في نماذج omni

تحدث الهلوسة عبر الوسائط حين يقول المسار الصوتي والمسار البصري شيئين مختلفين، أو حين لا يعطي أحدهما إشارة واضحة. عندها لا يختار النموذج ما رُصد فعلًا في المدخل، بل ما «يحدث عادةً» من الناحية الإحصائية: فالتركيبة المألوفة من الأشياء والأصوات في بيانات التدريب تتغلب على وقائع المقطع المحدد.

تعمل معظم طرق المعالجة الحالية على مستوى المخرجات: فهي تعدّل توزيع الرموز (tokens) أثناء فك الترميز، أو تفلتر الإجابة الجاهزة. يرى مؤلفو OWP أن هذا علاج للأعراض. فعند لحظة فك الترميز تكون أدلة المدخل والمعارف المسبقة المتعلَّمة قد اختلطت في التمثيلات المدمجة، ويصعب فصلها عند المخرج.

ثلاث خطوات داخل الحالات المخفية

تنقل OWP التدخل من المخرجات إلى التمثيلات الداخلية، وتعمل على ثلاث مراحل:

1. كشف التعارضات. تحدد الطريقة التناقضات بين الوسائط عبر مقارنة منظورات المدخل الخاصة بكل وسيط، وهي منظورات يكمّل بعضها بعضًا. 2. التحليل المتعامد. تفصل الطريقة داخل الحالات المخفية المكوّن المستند إلى الأدلة الفعلية (grounding evidence) عن المعارف المسبقة المنافسة. 3. إعادة الموازنة التكيفية. تُعاد معايرة التمثيلات المدمجة: يُكبَح تأثير المعارف المسبقة المضلِّلة، وتُعزَّز الأدلة التي جرى تجاهلها. يحدث كل ذلك قبل فك الترميز.

المنطق هنا أنه إذا أمكن عزل الاتجاه الذي «يختلق» النموذج عبره في الفضاء المخفي، فيمكن إضعافه بدقة دون المساس بالأوزان ودون إطلاق دورة تدريب جديدة. ومن هنا جاء وصف training-free، وهو للمطبّقين أهم من أي مقياس: فلا حاجة إلى وسم بيانات ولا إلى ساعات GPU للضبط الدقيق (fine-tuning).

ماذا أظهرت القياسات

اختبر المؤلفون الطريقة على بنيتين ومجموعة من المهام:

• Qwen2.5-Omni-7B، اختبار CMM: +12.9 نقطة.
• Qwen2.5-Omni-7B، اختبار AVHBench: +8.6 نقطة.
• Qwen2.5-Omni-7B، أربعة اختبارات استدلال عامة ضمن OLLM: زيادة ثابتة من 0.67 إلى 2.25 نقطة.
• VideoLLaMA2-AV، اختبارا الهلوسة نفسهما: +4.6 و+3.9 نقطة.

النسبة بين الأرقام لافتة. ففي الاختبارات المتخصصة بالهلوسة يبلغ المكسب خانتين، أما في مهام الاستدلال العامة فهو متواضع لكنه غير سلبي. أي أن كبح المعارف المسبقة لا يُضعف قدرات النموذج، وهذا ثمن تدفعه عادةً طرق من هذا النوع. ونجاح النقل إلى VideoLLaMA2-AV ذي البنية المختلفة يدل على أن الأسلوب غير مرتبط ببنية Qwen، وإن كانت الزيادة هناك أقل.

من يستفيد منها الآن

نُشرت الشيفرة في مستودع Omni-Woodpecker (وقت النشر كان له نحو 94 نجمة)، ما يتيح اختبار الطريقة على البنية التقنية الخاصة بكل فريق. وأكثر المستفيدين هم الفرق التي تبني على نماذج omni منتجات يكون ثمن الخطأ فيها مرتفعًا: تحليل مكالمات الفيديو وتسجيلات الاجتماعات، والمراقبة بالفيديو مع الصوت، والأوصاف الآلية للمقاطع، ومساعدو رصد الإعلام. وفي هذه الحالات يكثر أن «يسمع» النموذج ما ليس في الكادر، والعكس صحيح.

والترتيب العملي بسيط. أولًا، تشغيل OWP على بيانات الفريق نفسه التي يتعارض فيها الصوت والفيديو عن قصد، وعدم الاكتفاء بالاختبارات العامة. ثانيًا، قياس زمن الاستجابة واستهلاك الذاكرة، إذ يُرجَّح أن تحليل التعارضات بين الوسائط المنفصلة يضيف حسابات أثناء الاستدلال (inference). وأخيرًا، المقارنة بطرق فك الترميز من الجيل السابق، لأنه يمكن الجمع بينها وبين التدخل في الحالات المخفية. والتجارب في الورقة مقتصرة على نماذج من فئة 7B، أما كيف ستتصرف الطريقة مع أنظمة omni الأكبر فستكشفه اختبارات مستقلة.