KAIST تُعلّم نماذج VLM الانتشارية ألا تنظر إلى الصورة: 35% من الحسابات مقابل 99,6% من الجودة
تعيد النماذج الانتشارية متعددة الوسائط، مثل LLaDA-V، معالجة الصورة كاملة في كل خطوة، مع أن الرموز البصرية تشغل 89–97% من المدخلات. وقاس باحثون من KAIST أن الصورة لا تغيّر الرمز المختار إلا في 22,8% من الخطوات. وعلى هذه النتيجة بُني أسلوب LOWN، الذي لا ينفق الحسابات على الصورة إلا عند الحاجة. في كل خطوة، تجري النموذج أولاً تمريرة رخيصة بلا صورة، ثم تقارن نتيجتها بآخر تنبؤ أُجري مع الصورة. تُقبل الرموز المتطابقة فوراً، وعند أي اختلاف تُشغَّل تمريرة كاملة. ولا يتطلب الأسلوب تدريباً إضافياً ولا ضبطاً لأي عتبة. والنتيجة: 99,6% من درجات LLaDA-V على عشرة معايير اختبار مقابل 35,3% من الحسابات (FLOPs). • تكلفة التمريرة بلا صورة تبلغ 3–10% من التمريرة الكاملة. • مع ذاكرة التخزين المؤقت للمفاتيح والقيم، يصبح فك الترميز أسرع بمقدار 5,6–7,0 مرة. • يعمل الأسلوب أيضاً مع LaViDa وVidLaDA.
معالج بواسطة الذكاء الاصطناعي من Hugging Face Daily Papers؛ بتحرير Hamidun News
اقترحت مجموعة بحثية من KAIST طريقة لتسريع النماذج الانتشارية متعددة الوسائط، أي الشبكات العصبية التي تفهم الصور والنصوص وتولّد الإجابة لا كلمة بكلمة، بل على دفعات، فتكشف تدريجياً عن الرموز المقنَّعة. يحمل الأسلوب اسم LOWN (Look Only When Needed، أي «انظر فقط عند الحاجة»). وعلى عشرة معايير اختبار، يحافظ على 99,6% من درجات نموذج LLaDA-V مقابل 35,3% من تكاليفه الحسابية في فك الترميز. ولا يتطلب الأسلوب إعادة تدريب النموذج ولا ضبط العتبات.
لماذا يعيد النموذج حساب الصورة نفسها بلا داعٍ
تتميز نماذج VLM الانتشارية (DVLM) ببنية خاصة. فالانتباه فيها ثنائي الاتجاه، ولذلك لا تعمل مباشرةً ذاكرة المفاتيح والقيم الدقيقة المعتادة في النماذج ذاتية الانحدار. ويمرّر الاستدلال العادي في كل خطوة التسلسل بأكمله: الصورة والموجّه (prompt) والإجابة. وتشغل الرموز البصرية 89–97% من هذا التسلسل، بينما لا تكلّف التمريرة بدونها سوى 3–10% من التمريرة الكاملة. أي أن الجزء الأكبر من الحسابات يذهب إلى إعادة معالجة صورة لا تتغير.
تحقق المؤلفون من عدد المرات التي تكون فيها الصورة لازمة فعلاً. فقارنوا تنبؤات LLaDA-V مع الصورة وبدونها على مسار فك ترميز واحد، وعلى المعايير العشرة جميعها:
• في 83,4% من المواضع التي كان النموذج على وشك كشفها، تطابق الرمز الأعلى احتمالاً في الوضعين. • ظهر 85,0% من الرموز النهائية بوصفها أفضل تنبؤ في موضعها قبل لحظة كشفها. • غيّرت الصورة الرمز المكشوف في 22,8% من الخطوات فقط في المتوسط. والتفاوت كبير: 7,9% في MMBench و43,8% في DocVQA، حيث يجب قراءة النص من المستندات الممسوحة ضوئياً.
في ثمانية معايير من عشرة، تتركز الاختلافات في بداية التوليد، لكن هذا النمط ليس عاماً، كما في DeCapBench مثلاً. ولهذا يعمل الجدول الثابت «ننظر إلى الصورة كل N خطوة» بشكل سيئ: فالحاجة إلى الصورة تعتمد على المهمة وعلى الخطوة المحددة معاً.
كيف يقرر LOWN ما إذا كانت الصورة لازمة
بعد كل تمريرة كاملة (مع الصورة)، يحفظ الأسلوب تنبؤاتها ودرجة الثقة فيها بوصفها «مرساة». وفي الخطوات التالية تُشغَّل تمريرة رخيصة بلا رموز بصرية، مع الإبقاء على فهارس المواضع. وتجري العملية على النحو الآتي:
• تُرتَّب المواضع المقنَّعة بحسب ثقة المرساة. • يُعدّ الرمز مؤكَّداً إذا تطابق تنبؤ التمريرة بلا صورة مع المرساة. • يُؤخذ أطول بادئة من الرموز المؤكَّدة المتتالية، ويقطعها أول اختلاف. • إذا لم تكن البادئة أقصر من العدد المعتاد من الرموز في الخطوة، تُتخطى التمريرة الكاملة. وتُقبل البادئة كلها، أي يمكن في خطوة واحدة كشف رموز أكثر مما يكشفه النموذج الأساسي. • إذا كانت البادئة أقصر، تُشغَّل تمريرة كاملة. تحدّث هذه التمريرة المرساة، وتُكشف أولاً المواضع التي اختلف فيها التنبؤ مع الصورة وبدونها.
لا يزيد عدد الخطوات عن عدد خطوات النموذج الأساسي، ويحدَّد طول البادئة المقبولة بالمدخل نفسه، دون عتبة تُضبط يدوياً. وقد يخطئ التأكيد أحياناً: فالتمريرة الكاملة الجديدة تُلغي 2,2–4,7% من الرموز التي كُشفت في خطوات بلا صورة. ولكي لا تتراكم الأخطاء، تُستبدل المرساة بالكامل عند كل تمريرة كاملة.
ماذا أظهرت التجارب
جرى الاختبار على عشرة معايير: اختبارات الاختيار من متعدد، وفهم المستندات والرسوم البيانية، والمسائل الرياضية، والأوصاف التفصيلية للصور. ومن بين طرق التسريع التي تعتمد ميزانية حسابية لا تقل عن ميزانية LOWN، يتصدر الأسلوب في ثمانية معايير من عشرة. وشملت المقارنة تقليم الرموز البصرية (RedVTP وZOO-Prune)، وجدول الكشف KLASS، وذاكرة Fast-dLLM المؤقتة.
وثمة تفصيل مهم: لا يحل LOWN محل الطرق الأخرى، بل يتكامل معها. فهو يغيّر عدد المرات التي تلزم فيها التمريرة الكاملة، بينما يخفض التقليم والذاكرة المؤقتة تكلفة التمريرة نفسها. وعند استخدامه مع التقليم أو الذاكرة المؤقتة، يخفض تكاليف الطريقة المقترنة به بمقدار 1,8–2,5 مرة. ومع الذاكرة المؤقتة، يصبح فك الترميز أسرع بمقدار 5,6–7,0 مرة مقارنةً بالنموذج الأصلي. وتنتقل القاعدة نفسها إلى LaViDa وVidLaDA، أي إلى نماذج DVLM أخرى وإلى الفيديو.
ماذا يعني هذا للمهندسين
إذا كنتم تشغّلون نماذج VLM الانتشارية على المستندات أو الرسوم البيانية، فإن أكبر بند في التكاليف هو إعادة معالجة الصورة. ويقلّل LOWN هذه التكلفة دون إعادة تدريب ودون ضبط المعاملات الفائقة لكل مهمة، ولذلك يمكن إضافته في مرحلة الاستدلال. لكن ثمة قيداً يجب أخذه في الحسبان: فالمكسب يتوقف على المعيار. وكلما زاد عدد الرموز البصرية في الطلب وقلّت حاجة الإجابة إلى الصورة، زاد التوفير. أما في مهام مثل DocVQA، حيث تلزم الصورة في نحو نصف الخطوات تقريباً، فيكون التوفير أقل. وقد نشر المؤلفون الشيفرة وصفحة المشروع.
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا يعيد النموذج حساب الصورة نفسها بلا داعٍ؟
تتميز نماذج VLM الانتشارية (DVLM) ببنية خاصة. فالانتباه فيها ثنائي الاتجاه، ولذلك لا تعمل مباشرةً ذاكرة المفاتيح والقيم الدقيقة المعتادة في النماذج ذاتية الانحدار. ويمرّر الاستدلال العادي في كل خطوة التسلسل بأكمله: الصورة والموجّه (prompt) والإجابة. وتشغل الرموز البصرية 89–97% من هذا التسلسل، بينما لا تكلّف التمريرة بدونها سوى 3–10% من التمريرة الكاملة. أي أن الجزء الأكبر من الحسابات يذهب إلى إعادة معالجة صورة لا تتغير. تحقق المؤلفون من عدد المرات التي تكون فيها الصورة لازمة فعلاً. فقارنوا تنبؤات LLaDA-V مع الصورة وبدونها على مسار فك ترميز واحد، وعلى المعايير العشرة جميعها:
ما أبرز التفاصيل حول كيف يقرر LOWN ما إذا كانت الصورة لازمة؟
بعد كل تمريرة كاملة (مع الصورة)، يحفظ الأسلوب تنبؤاتها ودرجة الثقة فيها بوصفها «مرساة». وفي الخطوات التالية تُشغَّل تمريرة رخيصة بلا رموز بصرية، مع الإبقاء على فهارس المواضع. وتجري العملية على النحو الآتي: تُرتَّب المواضع المقنَّعة بحسب ثقة المرساة. يُعدّ الرمز مؤكَّداً إذا تطابق تنبؤ التمريرة بلا صورة مع المرساة. يُؤخذ أطول بادئة من الرموز المؤكَّدة المتتالية، ويقطعها أول اختلاف. إذا لم تكن البادئة أقصر من العدد المعتاد من الرموز في الخطوة، تُتخطى التمريرة الكاملة. وتُقبل البادئة كلها، أي يمكن في خطوة واحدة كشف رموز أكثر مما يكشفه النموذج الأساسي. إذا كانت البادئة أقصر، تُ
ما أبرز التفاصيل حول ماذا أظهرت التجارب؟
جرى الاختبار على عشرة معايير: اختبارات الاختيار من متعدد، وفهم المستندات والرسوم البيانية، والمسائل الرياضية، والأوصاف التفصيلية للصور. ومن بين طرق التسريع التي تعتمد ميزانية حسابية لا تقل عن ميزانية LOWN، يتصدر الأسلوب في ثمانية معايير من عشرة. وشملت المقارنة تقليم الرموز البصرية (RedVTP وZOO-Prune)، وجدول الكشف KLASS، وذاكرة Fast-dLLM المؤقتة. وثمة تفصيل مهم: لا يحل LOWN محل الطرق الأخرى، بل يتكامل معها. فهو يغيّر عدد المرات التي تلزم فيها التمريرة الكاملة، بينما يخفض التقليم والذاكرة المؤقتة تكلفة التمريرة نفسها. وعند استخدامه مع التقليم أو الذاكرة المؤقتة، يخفض تكاليف ا
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.