الرموز المتقطعة للصور تكاد تلحق بالتمثيلات المستمرة: FVQ يسد 59% من الفجوة مع Emu3

AR_FULL

تصدى فريق Meituan LongCat، بالتعاون مع باحثين من جامعة Huazhong للعلوم والتكنولوجيا، وجامعة Shanghai Jiao Tong، وMBZUAI، والجامعة الصينية في هونغ كونغ، لنقاش قديم في مجال الذكاء الاصطناعي متعدد الوسائط: هل يمكن وصف الصورة برموز متقطعة — على غرار وصف النص بكلمات من قاموس — دون فقدان المعنى، أم أن التمثيلات المستمرة (مصفوفات أرقام غير مُقرّبة) ستبقى دائماً أكثر دقة؟

كان الرأي السائد بسيطاً: تحويل الصورة إلى رموز متقطعة يولّد بالضرورة خطأ تكميم — أي أن الصورة المستعادة من الرموز تختلف قليلاً عن الأصل. وبما أن هناك خطأ، فقد ضاع شيء ما، وبالتالي لا يمكن للرموز المتقطعة من حيث المبدأ أن تكون "ذكية" بقدر التمثيلات المستمرة. اختبر الباحثون هذه الفرضية مباشرة: أخذوا تمثيلاً للصورة ينتج عند استعادته خطأ أكبر بوضوح، وقارنوه بتمثيل ذي خطأ صغير. وجدوا أن الأول — ذا الخطأ الأكبر — ساعد النموذج على فهم الصورة بشكل أفضل (الإجابة عن أسئلة بخصوصها، التعرف على النص فيها، وغير ذلك) مقارنة بالثاني. بعبارة أخرى، خطأ استعادة الصورة والفائدة الفعلية للرموز في الفهم هما أمران مختلفان، ولا يتنبأ أحدهما بالآخر.

ما تبيّن أنه مهم بدلاً من دقة الاسترجاع

افترض الباحثون أن العامل المهم هو "موازنة البتات" — أي بشكل تقريبي، عدد الحالات المميّزة فعلياً التي يمكن لمجموعة من الرموز تشفيرها. تنمو هذه الموازنة بشكل خطي مع عدد كتب الرموز المستخدمة (مجموعات من الرموز تُطبّق تباعاً أو بالتوازي)، لكنها تنمو بشكل لوغاريتمي فقط — أي بطيء جداً — مع حجم كل كتاب على حدة. لذلك فإن زيادة عدد الكتب أكثر فعالية من تكبير حجم كل كتاب.

المشكلة أن المخططات الحالية متعددة الكتب تصل إلى سقف. فعلى سبيل المثال، تعمل طريقة RVQ (تكميم المتجه المتبقي) كما يلي: الكتاب الأول يُشفّر الجزء الأساسي من الصورة، والثاني يُشفّر ما تبقى غير مُشفّر بعد الأول (المتبقي)، والثالث يُشفّر متبقي المتبقي وهكذا. كل كتاب لاحق يحصل على جزء معلومات "أكثر فراغاً" تدريجياً. والأمر مشابه مع طريقة PQ (تكميم الجداء): فهي تقسّم ميزة الصورة إلى شرائح قنوات أضيق فأضيق، وكل كتاب يحصل على محتوى أقل فأقل. وفي كلتا الحالتين، عند مضاعفة عدد الكتب (مثلاً من 8 إلى 16)، لا تتحسن الجودة تقريباً — فالكتب تتوقف ببساطة عن تقديم فائدة.

كيف تعمل FVQ

الحل الذي طرحه الباحثون يُسمى Factorized Vector Quantization (FVQ). فبدلاً من تجزيء ميزة الصورة إلى قطع أصغر وأفقر تدريجياً، تُنشئ FVQ عدة "رؤى" كاملة ومتكافئة لنفس الميزة بأكملها، عبر إسقاطات رياضية خاصة تضمن معاً الحفاظ على كل المعلومات الأصلية (خاصية تُعرف باسم "الإطار المحكم"، tight frame). يُشفَّر كل من هذه الرؤى بكتاب رموز خاص به بشكل متوازٍ، دون تراتبية "أساسي - متبقي". وبفضل ذلك، لا تُضعف إضافة كتاب جديد المعلومات التي تصل إلى الكتب الأخرى، وتستمر الجودة في التحسن حتى عند استخدام 16 كتاباً، وهو المستوى الذي تتوقف فيه الطرق القديمة.

عملياً، هذا يعني أنه كلما أُضيف عدد أكبر من كتب الرموز في FVQ، زادت دقة النموذج في التعرف، مثلاً، على النص الصغير في الصور — وهو أول ما يتأثر سلباً عادة عند ضغط الصورة إلى رموز.

النتائج على بيانات حقيقية

درّب الباحثون النموذج النهائي — Qwen3-8B مزوداً بمُرمِّز بصري قائم على FVQ بـ16 كتاباً مبني فوق Qwen3 ViT — على بيانات بحجم صناعي، واختبروه على تسعة اختبارات لفهم الصور: MMMU وMathVista وMMStar وOCRBench وChartQA وCharXiv (بنوعين) وDocVQA وInfoVQA.

• بالمتوسط على هذه التسعة مقاييس، تفوق النموذج على UniAR بنسبة 22.8% وعلى Emu3-Chat بنسبة 59.2%
• هذا أول نموذج معروف يعتمد على رموز متقطعة تضاهي جودته أنظمة مستمرة قوية بمستوى Qwen3-VL، بما في ذلك في مهام التعرف المعقدة على النص في الصور
• الكود وأوزان النموذج متاحة على GitHub (hustvl/FVQ)، وهناك صفحة مشروع مستقلة تضم عروضاً توضيحية

الخلاصة العملية للفرق التي تبني نماذج متعددة الوسائط: السعي لتقليل خطأ استعادة الصورة إلى أدنى حد ليس المعيار الأفضل لاختيار مُرمِّز الرموز. الأهم هو النظر في كمية البتات المفيدة فعلياً التي يحملها التمثيل، وهل يصل مخطط التكميم إلى سقف عند إضافة كتب رموز جديدة. وإذا كان فريق ما يستخدم بالفعل RVQ أو PQ ولاحظ أن الجودة تتوقف عن التحسن عند زيادة عدد الكتب، فإن مخططاً متوازياً مُفكَّكاً مثل FVQ يُعد اتجاهاً معقولاً للتجربة، خصوصاً إذا كان التعرف الدقيق على النص والتفاصيل الصغيرة في الصور عنصراً حاسماً في المنتج.