AB-Attention يسرّع توليد الفيديو حتى 2,23× ويتخطى 92% من حسابات الانتباه

أصدر فريق InfRec، بالتعاون مع باحثين من CUHK Shenzhen وجامعات شاندونغ وطوكيو وفودان وبيركلي وHKUST وNUS، طريقة AB-Attention. هي أسلوب لتسريع توليد الفيديو في المحوّلات الانتشارية (Wan2.1 وHunyuanVideo) دون إعادة تدريب الأوزان. أغلى عملية في هذه النماذج هي الانتباه: فكل جزء من الفيديو يُقارَن بكل الأجزاء الأخرى عبر المكان والزمن، ولهذا تزداد التكلفة تربيعيًا مع طول التسلسل. تتخطى AB-Attention نسبة 89–92% من هذه الحسابات. ومع ذلك يأتي الفيديو أقرب إلى نتيجة الانتباه الكامل «الحقيقي» مما تقدمه الطرق المنافسة. فمقياس PSNR (مقياس التشابه مع المقطع المرجعي بالديسيبل، وكلما ارتفع كان التشابه أكبر) أفضل بمقدار 1,6–4,4 ديسيبل، وتجري عملية التوليد كاملةً على بطاقة NVIDIA H20 واحدة أسرع بمقدار 1,84–2,23 مرة.

أين تفشل المخططات المتناثرة السابقة

يحسب الانتباه المتناثر جزءًا فقط من أزواج «الاستعلام — المفتاح» لا كلها. وكانت الطرق المبكرة تحدد النمط مسبقًا، مثل النوافذ المحلية ثلاثية الأبعاد. لكنها لا تعرف ما المهم لموجّه (prompt) بعينه أو لرأس انتباه بعينه أو لخطوة إزالة ضوضاء بعينها، ولذلك تضطر إلى الإبقاء على الكثير من الحسابات الزائدة. أما الطرق الديناميكية فتختار كتل المفاتيح والقيم بحسب التنشيطات الحالية، لكن المؤلفين أحصوا فيها ثلاث نقاط ضعف:

• تقديرات الأهمية إما خشنة أو مكلفة. فمتوسط الكتلة في متجه واحد يخلط رموزًا (tokens) ذات سلوك مختلف، بينما يتطلب التجميع العام (SVG2) خوارزمية k-means على التسلسل كله وإعادة ترتيب الرموز. • انتقاء top-k يقتطع الذيل. فالكتلة المستبعدة تختفي من بسط الانتباه ومن تطبيع softmax معًا. ولن تعالج التقديرات الأفضل هذه المشكلة: حتى الانتقاء المثالي بطريقة top-k يحتفظ عند 10,8% من المفاتيح بنحو 69% فقط من كتلة الانتباه. • وحدة الانتقاء تساوي بلاطة الحساب. فالكتلة إما أن تُبقى كاملةً أو تُستبعد كاملةً، حتى لو لزم عدد قليل من مفاتيحها فقط.

ثلاث تقنيات في AB-Attention

التقنية الأولى، IBCS (Intra-Block Clustering Selector)، تقدّر أهمية كتل المفاتيح. تُقسَّم الاستعلامات إلى كتل من 128 رمزًا. وداخل كل كتلة تُجمَّع في 8 عناقيد، لكل منها مركز (centroid) ووزن يساوي حصة الاستعلامات في العنقود. وتحصل كتلة المفاتيح على درجتها من انتباه المراكز الموزون نحو مفاتيحها المتوسطة. تُستخدم العناقيد للتقدير فقط، أما الحساب نفسه فيجري بترتيب الرموز الأصلي. وبهذا لا تضيع كتلة ينظر إليها عنقود واحد فقط، كما يحدث عند حساب متوسط الكتلة كلها. وتتقلص الفجوة في اكتمال الانتقاء (recall) بين طريقة المتوسط وطريقة top-k المثالية إلى النصف.

التقنية الثانية، SIP (Sampling with Inclusion-Probability Weighting)، تستبدل بالانتقاء الصارم أخذ العيّنات. تدخل الكتلة في العيّنة باحتمال يتناسب مع درجتها. وتُؤخذ الكتل الأهم دائمًا، أما بقية الكتل فاحتمال اختيارها لا يساوي صفرًا. وتُضرب كل كتلة مختارة في مقلوب احتمال اختيارها: فالكتلة ذات احتمال 25% تُحتسب كأنها أربع كتل. وهذا هو مقدّر هورفيتز — طومسون الكلاسيكي، وهو يعطي تقديرات غير متحيزة لبسط softmax ولتطبيعه معًا. ويكون خطأ الانتباه أقل بنسبة 41% من خطأ top-k المثالي عند العدد نفسه من الكتل. ولا حاجة إلى تمريرة إضافية للتصحيح: يبقى الحساب انتباه softmax اعتياديًا مع إزاحة اللوغيتات (logits).

التقنية الثالثة هي انتقاء دقيق على عتاد «ثقيل». فكتل المفاتيح والقيم لا تتجاوز 4 رموز فقط، لكن النواة (kernel) تجمع الكتل المختارة بحسب الفهارس في بلاطات كاملة الحجم من نوى Tensor Cores. لا تُعاد ترتيب الرموز، ولا تُنشأ نسخ زائدة. وتقليص الكتلة من 128 إلى 4 رموز يرفع حصة كتلة الانتباه التي يحتفظ بها الانتقاء المثالي من 59% إلى 69%، دون أن يزداد عدد البلاطات عند ميزانية ثابتة. وتُعاد حساب خطة العيّنة مرة كل أربع خطوات من إزالة الضوضاء، أما الانتباه نفسه فيُحسب في كل خطوة.

كيف جرى القياس وما النتيجة

قورنت ثلاثة نماذج بدقة 720p: إصداران من Wan2.1 (81 إطارًا) وHunyuanVideo (129 إطارًا)، على 600 موجّه من اختبار Penguin Video. وكان المرجع هو الفيديو المولَّد بالانتباه الكامل عند الموجّه نفسه وبذرة التوليد نفسها. وإلى جانب PSNR، حُسب SSIM وLPIPS، إضافة إلى خمسة تقييمات للمقطع نفسه: الجمالية، واتساق الخلفية، وجودة الصورة، وسلاسة الحركة، وثبات الكائن. أما المنافسون فهم RadialAttention (قناع ثابت مع تناقص الطاقة) وSVG2 وDFSAttn، وكلها بالشيفرة الرسمية وعلى الواجهة الخلفية FlashInfer مع FlashAttention-3. وتعمل جميع الطرق بالانتباه الكامل في أول كتلة محوّل وفي أول 10 خطوات من أصل 50.

• التناثر: 89,16% على Wan2.1 و92,35% على HunyuanVideo. • المنافسون يحسبون في المقابل انتباهًا أكثر بمقدار 1,8–3,6 مرة. • AB-Attention هي الأفضل في PSNR وSSIM وLPIPS على النماذج الثلاثة كلها. • التسريع الشامل من البداية إلى النهاية: 1,84–2,23× على H20 واحدة بصيغة BF16.

ما معنى ذلك عمليًا

لا تتطلب الطريقة إعادة تدريب، ولذلك يمكن ربطها بالأوزان الجاهزة. وبالنسبة إلى الفرق التي تشغّل Wan2.1 أو HunyuanVideo، يعني هذا انخفاضًا يقارب النصف في زمن إنتاج المقطع مع جودة قريبة من المرجع. وسيزداد المكسب في الفيديوهات الطويلة وعالية الدقة، حيث تكون حصة الانتباه في زمن الاستجابة أكبر. وهناك قيود أيضًا: فالقياسات أُجريت على H20 وعلى ثلاثة نماذج فقط، والنواة وخطة العيّنة مصمَّمتان لنوى Tensor Cores من NVIDIA. والشيفرة مفتوحة على GitHub في المستودع InfRec-Cardinal/AB-Attention، ما يتيح إعادة التحقق من النتائج على عتادك الخاص.