Seq-Drifting يولّد النص في تمريرة واحدة: perplexity بقيمة 36,01 على LM1B

تولّد نماذج اللغة الانتشارية الرموز بالتوازي، لكن الحصول على نص عالي الجودة لا يزال يتطلب خطوات أخذ عينات كثيرة. يحاول مؤلفو Seq-Drifting التخلص من هذه الخطوات تمامًا: يأخذ مولّدهم ضوضاء غاوسية ويُخرج التسلسل كاملًا في تمريرة أمامية واحدة. وفي هذا الوضع أحادي الخطوة يحقق المولّد generative perplexity بقيمة 36,01 على معيار LM1B. صدرت النسخة التمهيدية من الورقة على arXiv (2610.12879)، ونُشرت الشيفرة على GitHub.

كيف يعمل حقل الانجراف

في نماذج اللغة الانتشارية المعتادة، تُؤخذ إشارة التدريب لكل موضع مباشرة من الرمز الموجود في ذلك الموضع ضمن تسلسل التدريب. يتعلم النموذج استعادة طبقة محددة من البيانات، وتأتي الجودة عبر التكرار: كل خطوة تحسّن سابقتها.

يعمل Seq-Drifting بطريقة مختلفة. تطبّق الطريقة مفهوم الانجراف (drifting) على تسلسلات من التمثيلات المتصلة للرموز، وتعلّم النموذج مباشرة الانتقال من الضوضاء إلى النص. ولهذا يُبنى حقل انجراف تعتمد فيه أهداف المواضع على السياق المولَّد حاليًا، ولا يحددها مسبقًا رمز مرجعي واحد. وتعمل في كل موضع قوتان. الجذب يوجّه المخرجات نحو مجموعة من تمثيلات الرموز المعقولة سياقيًا. أما التنافر فيعالج مشكلتين معًا: يمنع العينات من الانهيار بعضها في بعض، ويكبح التكرار داخل التسلسل الواحد.

الحقل مطلوب في التدريب فقط. أما أثناء الاستدلال فلا يلجأ المولّد إلى أي تكرارات، ويُخرج جميع الرموز معًا في تمريرة واحدة.

ما الذي أظهرته التجارب

تتعلق النتيجة الرئيسية بمعيار LM1B، حيث يبلغ generative perplexity في التوليد أحادي الخطوة 36,01. ووفق المؤلفين، فالنموذج منافس في التوليد غير المشروط والمشروط على حد سواء. واختُبر بصورة منفصلة ما إذا كان النهج يعمل خارج الكتابة الحرة: تشمل التجارب الترجمة والتلخيص ومهام الاستدلال.

أبرز معالم العمل:

• وضع الاستدلال: تمريرة أمامية واحدة، وجميع الرموز بالتوازي.
• مدخل المولّد: ضوضاء غاوسية، والمخرج: تسلسل من التمثيلات المتصلة للرموز.
• إشارة التدريب: حقل انجراف يجذب نحو الرموز المعقولة ويتنافر مع الانهيار والتكرار.
• المقياس: generative perplexity بقيمة 36,01 على LM1B.
• المهام: التوليد غير المشروط والمشروط، والترجمة، والتلخيص، والاستدلال.

تغيب عن الملخص عدة أمور مهمة. لا توجد مقارنة رقمية مع خطوط أساس انتشارية متعددة الخطوات، ولا قياسات لزمن الاستجابة، ولم يُحدَّد أي نموذج استُخدم لحساب perplexity. كما أن generative perplexity حساسة عمومًا لاختيار النموذج المقيِّم، ولا تعكس وحدها تنوع النص. ولا بد من الرجوع إلى الورقة الكاملة لمعرفة هذه التفاصيل.

لمن يفيد هذا

يكمن الاهتمام العملي الرئيس هنا في كلفة الاستدلال. فإذا كانت جودة نموذج اللغة الانتشاري تتحدد بعدد الخطوات، فكل خطوة تضاعف كلفة استدعاء النموذج. والمولّد أحادي الخطوة يزيل هذا المضاعِف من حيث المبدأ، وهو حجة جدية في مهام مثل الترجمة أو التلخيص ذات المتطلبات الصارمة لزمن الاستجابة.

لكن هذه نتيجة بحثية حتى الآن. فمجموعة LM1B تتألف من جمل قصيرة، أما الاختبار على السياقات الطويلة والنماذج الأكبر والمهام التعليمية فلا يزال أمامها. وعلى العاملين مع نماذج اللغة الانتشارية أن يشغّلوا المستودع المفتوح ويتحققوا من ثلاثة أمور: كيف تتغير الجودة مع طول التسلسل، وهل يبقى التنوع محفوظًا في تمريرة واحدة، ومدى اعتماد النتيجة على معاملات التنافر. وإن جاءت الإجابات مواتية، فسيصبح Seq-Drifting حجة بارزة في الجدل حول ما إذا كانت النماذج اللغوية بحاجة إلى التكرار أصلًا.