نظرية تثبت: نماذج masked diffusion القائمة على المحوّلات تتعلم من Õ(LK/ε) مثالًا

أثبت مؤلفو البحث الأولي arXiv:2610.12544 (cs.LG) أن نموذج masked diffusion (MDM) القائم على المحوّلات يتعلم التوزيعات المنفصلة المنظّمة من عدد معقول من الأمثلة. فإذا كانت البيانات قابلة للتقريب الجيد بمزيج من أشجار ماركوف الخفية، يكفي Õ(L·K_par/ε) من العينات التدريبية للحصول على توليد دقيق بمقدار ε وفق تباعد KL. ويعتمد المعامل K_par على طول التسلسل L وحجم المفردات V وعدد الحالات الخفية وعدد مكوّنات المزيج اعتمادًا كثير الحدود. أما التقديرات الإحصائية السابقة فكانت تتزايد بوتيرة V^L، أي بعدد جميع التسلسلات الممكنة بطول L. وبالنسبة إلى النصوص الحقيقية أو الشيفرة البرمجية أو سلاسل البروتينات، لا يقول هذا الرقم شيئًا عن الواقع العملي.

خطآن كانا يُحسبان كلٌّ على حدة

يولّد MDM البيانات المنفصلة بصورة تكرارية. في البداية يكون التسلسل كله مغطّى بالأقنعة، ثم يكشف متنبّئ الأقنعة المدرَّب في كل خطوة عدة رموز دفعة واحدة وبالتوازي. ويمنح التوازي السرعة، لأن المرور الواحد يولّد عدة رموز بدلًا من رمز واحد كما في التوليد الانحداري الذاتي. لكن لهذه السرعة ثمنًا، وهناك خطآن.

الأول هو خطأ التوازي. فالرموز التي تُكشف في الخطوة نفسها تُسحب بصورة مستقلة بعضها عن بعض، مع أنها مترابطة في البيانات. والثاني هو خطأ التقدير: فمتنبّئ الأقنعة مدرَّب على عينة محدودة، وهو ليس مثاليًا. وكانت النظرية القائمة تدرس هذين المصدرين كلًّا على حدة. أما هنا فقد اشتُقّ ضمان شامل يدخل فيه الخطآن معًا في تقدير KL النهائي.

بنية خفية بدلًا من استعراض جميع التسلسلات

للخروج من V^L، يصف المؤلفون البيانات عبر مزائج من أشجار ماركوف الخفية. ففي داخل كل مكوّن ترتبط الرموز بتبعيات كامنة وفق طوبولوجيا شجرية. وتعكس المكوّنات المختلفة عدم تجانس البيانات: على سبيل التقريب، أنواعًا أدبية أو لغات أو عائلات كائنات مختلفة داخل المدوّنة الواحدة. وتتحدد صعوبة المسألة بهذه البنية الخفية، لا بحجم فضاء التسلسلات.

وأكثر ما في النتيجة فائدة من الناحية العملية أن الشبكة وإجراء السحب لا يحتاجان إلى معرفة طوبولوجيا الأشجار ولا معاملات المكوّنات. فالمحوّل يتكيّف بنفسه مع البنية المجهولة.

أبرز معاملات النتيجة:

• النموذج: MDM قائم على المحوّلات مع جداول متوازية لكشف الرموز.
• فئة البيانات: مزائج من أشجار ماركوف الخفية.
• معيار الجودة: دقة ε وفق تباعد KL.
• تعقيد العينة: Õ(L·K_par/ε).
• K_par: كثيرة حدود في L وV وعدد الحالات الخفية وعدد المكوّنات.
• المعرفة المسبقة: لا يُشترط معرفة طوبولوجيا الأشجار ولا معاملات المكوّنات.

ماذا يعني ذلك عمليًا

العمل نظري بحت: لا يتضمن اختبارات معيارية ولا نقاط حفظ (checkpoints) جديدة ولا قياسات للسرعة. ولا يمكن تطبيقه مباشرة على تدريب نموذج بعينه. فقد تكون الدرجة كثيرة الحدود في K_par كبيرة، ويبقى افتراض مزيج أشجار ماركوف الخفية تبسيطًا مثاليًا للمدوّنات الحقيقية.

ومع ذلك، للنتيجة قيمة عملية. فالفرق التي تبني نماذج انتشار نصية وبرمجية بديلًا عن التوليد الانحداري الذاتي تحصل على حجة تدعم المقاربة نفسها. فالتوليد المتوازي لا يلزم أن يُفسد الجودة إذا كان جدول الكشف متسقًا مع بنية البيانات. وبالنسبة إلى من يختار عدد الرموز في كل خطوة، هذا مؤشر استرشادي: يجب أخذ خطأ التوازي في الحسبان مع خطأ المتنبّئ، لا تحسين كل منهما على حدة.

أما بالنسبة إلى الباحثين، فيبقى السؤال مفتوحًا عن مدى قرب البيانات الحقيقية من مزائج الأشجار الخفية، وعمّا إذا كان يمكن توسيع الفئة لتشمل تبعيات أكثر تعقيدًا. وتبدو MDM الآن أفضل تأسيسًا بوضوح مما كانت عليه، لكن التحقق العملي يبقى من نصيب الأعمال التجريبية.