Stanford وTogether AI تعلّمان نماذج LLM كتابة النص انطلاقًا من خطة: توليد أسرع حتى 31 مرة

اقترح فريق من Stanford وTogether AI طريقة لتوليد النص لا تندرج تحت الانحدار الذاتي ولا تحت الانتشار. يضع النموذج أولًا «فهرسًا» للإجابة، ثم يملؤه بالتفاصيل خطوة بعد خطوة. وبحسب المؤلفين، يمنح هذا النهج تسريعًا يصل إلى 31 مرة. وقد نقل الخبر موقع Jiqizhixin الصيني.

من أين جاءت الفكرة

يقوم الأسلوب على VAR (Visual Autoregressive Modeling)، وهي الورقة البحثية التي نالت جائزة أفضل ورقة في NeurIPS 2024. في توليد الصور، تخلّى VAR عن المسح التقليدي للصورة بكسلًا بكسل أو رمزًا برمز. وبدلًا من ذلك، يتنبأ النموذج بـ«المقياس التالي»: يبدأ بنسخة خشنة جدًا من الصورة، ثم بنسخ أكثر تفصيلًا تدريجيًا. كل خطوة تصقل سابقتها، ويمكن حساب الرموز داخل المقياس الواحد بالتوازي.

نقل باحثو Stanford ومهندسو Together AI هذا المبدأ إلى النص. باختصار، يتعلق الأمر بتوليد «من الأعلى إلى الأسفل»: تأتي البنية والمعاني الرئيسية أولًا، ثم الكلمات المحددة.

ما الذي يميّزه عن الأساليب المألوفة

تكتب نماذج LLM الحالية من اليسار إلى اليمين، رمزًا تلو الآخر. تعتمد كل كلمة تالية على جميع الكلمات السابقة، وهذا يحدّ من السرعة بشدة: في كل تمريرة يُنتَج رمز واحد، مهما بلغ عدد وحدات GPU في الرفّ. وتحاول نماذج اللغة القائمة على الانتشار تجاوز هذا القيد. فهي تنطلق من «ضجيج» أو من نص مقنَّع، وتوضّحه تكراريًا بأكمله. لكن لهذا المسار مشكلاته الخاصة في الجودة وفي التحكم بطول الإجابة.

أما الخيار الثالث الذي يصفه المؤلفون فيأخذ من كل نهج جانبًا مختلفًا. فكما في الانحدار الذاتي، للعملية ترتيب واضح، لكنه يسير وفق مستويات التفصيل لا وفق المواضع في السطر. وكما في الانتشار، يُحدَّث عدد كبير من الرموز دفعة واحدة في كل خطوة. ومن هنا جاء مكسب السرعة المعلن.

ومشاركة Together AI هنا لافتة. فالشركة تربح من استدلال (inference) النماذج المفتوحة، وكل تمريرة على النموذج توفّرها تتحول إلى مال. واليوم لا يصطدم تسريع التوليد بعدد عمليات FLOPS، بل بالطبيعة التسلسلية لفك الترميز.

المعايير الرئيسية

• المؤلفون: Stanford University وTogether AI
• الفكرة الأصلية: «التنبؤ بالمقياس التالي» من VAR (NeurIPS 2024، أفضل ورقة)
• المبدأ: خطة أو مسودة خشنة للنص أولًا، ثم الصقل على مستويات
• التسريع المعلن: حتى 31x
• التموضع: نموذج ثالث إلى جانب الانحدار الذاتي والانتشار

ما الذي ينقص في الخبر

من الجزء المتاح من المنشور، تبقى عدة نقاط غامضة يتوقف عليها التقييم كله. لم يُذكر خط الأساس الذي قورن به المكسب البالغ 31 ضعفًا. فمقارنة الطريقة بتوليد عادي رمزًا برمز دون أي تحسينات أمر، ومقارنتها باستدلال حديث يعتمد على فك الترميز التخميني (speculative decoding) والتجميع الدفعي (batching) أمر آخر. ولا توجد بيانات عن حجم النماذج وطول النصوص والجودة على الاختبارات المعيارية القياسية. وينبغي قراءة رقم «حتى 31 مرة» على أنه أفضل حالة، لا الحالة المعتادة.

وثمة سؤال معماري أيضًا. ففي الصور تتشكل المقاييس بصورة طبيعية: النسخة المصغّرة من الصورة تبقى صورة. أما النص فليس له «دقة خشنة»، وكيفية تعريف المؤلفين لمستويات الخطة هي محل الاختبار الأساسي.

ما الذي ينبغي أن يتحقق منه الممارسون

هذا حتى الآن عمل بحثي لا منتج، ومن المبكر الاعتماد عليه في بيئات الإنتاج. لكنه يستحق المتابعة. وعندما تصدر الورقة البحثية مصحوبة بالشيفرة، يجدر النظر في ثلاثة أمور: الجودة في مهام الاستدلال الطويل والبرمجة، حيث يفسد الخطأ في الخطة كل ما بعده؛ وثبات اتباع التعليمات؛ والتسريع الفعلي على وحدات GPU نفسها عند جودة مماثلة. وإذا ظل المكسب قائمًا في إجابات بطول آلاف الرموز، فسيمنح المهندسين وسيلة جديدة إلى جانب التكميم (quantization) وفك الترميز التخميني. وإن لم يظل، فسيبقى مجرد تجربة طريفة تُظهر أن أفكار الرؤية الحاسوبية تنتقل إلى اللغة بسلاسة.