نماذج LLM الانتشارية تنفق ثلاثة أضعاف التمريرات على كتابة القصة مقارنة بتصحيح القواعد

تجذب النماذج اللغوية الانتشارية الاهتمام لأنها تُخرج عدة توكنات في تمريرة أمامية واحدة، وقد تكتب أسرع من النماذج ذاتية الانحدار. لكن تحليلًا جديدًا لنموذجين من هذا النوع على 10 مهام يُظهر أن سرعتها غير ثابتة. ففي DiffusionGemma يحتاج توكن كتابة قصة إلى أكثر من ثلاثة أضعاف عدد التمريرات التي يحتاجها توكن تصحيح القواعد. وقد تتطلب إجابتان بالطول نفسه، مقيسًا بالتوكنات، حسابات مختلفة تمامًا.

لماذا النسخ أرخص من التأليف

تعمل الآلية على النحو التالي: يقرر النموذج الانتشاري بنفسه أثناء التوليد عدد التمريرات التي ينفقها. فإذا كان جزء من النص واضحًا لديه، ثبّت عددًا كبيرًا من التوكنات دفعة واحدة. وإذا لم يكن كذلك، أجرى تكرارات أكثر وأخذ يضبط النص تدريجيًا.

قارن المؤلفون الكلفة بين المهام وخرجوا بصورة واضحة. فالنص المنسوخ من المدخلات أو المعدَّل تعديلًا طفيفًا قليل الكلفة، بينما الرسالة المفتوحة مرتفعة الكلفة. يتألف تصحيح القواعد في معظمه من مادة معروفة سلفًا، أما القصة فيجب ابتكارها من الصفر.

ويفسّر المؤلفون هذا الفارق بخاصيتين في النص الناتج:

• نسبة المادة الجديدة قياسًا إلى المدخلات؛
• ندرة الكلمات داخل المهمة المحددة.

وكلما زاد في الإجابة ما هو جديد وغير مألوف، زاد عدد التمريرات التي ينفقها النموذج على كل توكن.

والمنطق نفسه ينطبق داخل الإجابة الواحدة إذا استدل النموذج أولًا. فحين تكرر الإجابة النهائية سلسلة الاستدلال التي كتبها النموذج، تكون رخيصة. وحين تضيف شيئًا جديدًا، ترتفع كلفتها. وهذا يعني أن الميزة الحسابية للانتشار تتوقف على حجم الجزء المحدَّد سلفًا من المخرجات.

ضريبة التجزئة إلى توكنات في التوليد متعدد اللغات

تتعلق نتيجة منفصلة باللغات. فاللغات التي يقطّعها المُجزّئ (tokenizer) إلى قطع كثيرة تحتاج إلى تمريرات أكثر لكل توكن. وهي تدفع أصلًا ثمنًا أعلى بسبب الحجم وحده، إذ يحتوي النص بتلك اللغة على توكنات أكثر. فينتج عن ذلك عبء مزدوج، ويصبح الفارق في كلفة الخدمة بين اللغات أكبر مما توحي به أطوال التسلسلات.

ويكتسب هذا أهمية عملية للشركات التي تبيع نموذجًا واحدًا في عشرات الأسواق. فالحساب بعدد التوكنات يقلّل من تقدير الكلفة الفعلية للغات عالية التجزئة، إذا كان الاستدلال (inference) قائمًا على الانتشار.

سرعة فك الترميز كمؤشر على صحة الإجابة

أكثر أجزاء الدراسة ارتباطًا بالتطبيق هو ما يخص الجودة. ففي المسألة الرياضية نفسها، تحتاج الإجابات الخاطئة إلى تمريرات أكثر لكل توكن من الإجابات الصحيحة. وكأن النموذج «يتردد» حيث لا يكون واثقًا.

استخدم المؤلفون ذلك كإشارة: فقد رجّحوا الإجابات المرشحة بحسب سرعة فك الترميز. وتفوّق هذا النهج على التصويت البسيط بالأغلبية بما يصل إلى 4.2 نقطة. ولا يتطلب حسابات إضافية، لأن عدد التمريرات معروف أصلًا أثناء التوليد العادي.

أبرز مقاييس الدراسة:

• النماذج: نموذجان انتشاريان، بينهما DiffusionGemma؛
• المجموعة: 10 مهام؛
• القصة مقابل تصحيح القواعد: أكثر من 3 أضعاف التمريرات لكل توكن؛
• عوامل الكلفة: الجِدّة قياسًا إلى المدخلات وندرة الكلمات في المهمة؛
• مكسب الترجيح بالسرعة على majority voting: حتى 4.2 نقطة دون تكاليف إضافية.

ما الذي ينبغي تغييره في الاستدلال والتخطيط

أولًا: لا يجوز وضع ميزانية الاستدلال الانتشاري بحسب طول المخرجات. فلا بد من تقدير نوع المهمة. إذ تقع التصحيحات وإعادة الصياغة والتنسيق واستخراج البيانات المنظمة من المدخلات في المنطقة الرخيصة. أما توليد النصوص الإبداعية الطويلة فيقع في المنطقة الباهظة، وسيواجه أي خدمة ذات ملف حِمل واسع تباينًا كبيرًا في زمن الاستجابة والتكاليف.

ثانيًا: يمكن تسجيل عدد التمريرات كبيانات قياس عن بُعد. فالارتفاع المفاجئ في طلب بعينه يشير إلى خطر مرتفع للخطأ، ومن المعقول إرسال هذه الإجابات إلى إعادة تحقق أو إعادة أخذ عينات أو إلى مراجعة بشرية. وفي المهام التي تعتمد على الاتساق الذاتي، حيث تُولَّد عدة إجابات مرشحة، يحقق الترجيح بالسرعة مكسبًا دون كلفة إضافية.

ثالثًا: عند حساب الأسعار للمنتجات متعددة اللغات يجب مراعاة الأثرين معًا: عدد التوكنات وعدد التمريرات لكل توكن. وإلا ستصبح اللغات ذات التجزئة الثقيلة خاسرة دون أن يلاحظ أحد.

حدود الدراسة واضحة: فهي تتناول نموذجين و10 مهام فقط. لكن الاتجاه جليّ. فنماذج LLM الانتشارية تتفوق حيث يكون جزء كبير من الإجابة قابلًا للتنبؤ، وحيث تحمل عملية فك الترميز نفسها معلومات لا يستفيد منها أحد تقريبًا حتى الآن.