Runpod تصدر ملخصها: Llama-2 بسياق 32k رمز وSDXL 1.0 متاح للعموم

نشر مزوّد الحوسبة السحابية بمعالجات GPU، Runpod، العدد الثاني من ملخصه الأسبوعي RoundUp. يضم العدد بندين رئيسيين: Llama-2 بدعم سياق يصل إلى 32 ألف رمز، والإصدار العام من SDXL 1.0. صُمّمت Llama-2 الأساسية من Meta لتعمل بـ 4096 رمزًا، ما يعني أن النافذة اتسعت ثماني مرات. أما البند الثالث عن المنتج الجديد من Stability AI فمقطوع في الإعلان المتاح عند كلمة Stable، ولذلك لن نخمّن مضمونه.

ثمة تنبيه خاص بالمصدر. فالملخص نفسه قصير ويتألف في معظمه من روابط إلى إصدارات أطلقها آخرون. وتعود هذه الإصدارات إلى صيف 2023، بينما يظهر في الخلاصة تاريخ نشر مختلف. على الأرجح أُعيدت فهرسة المادة. والمعنى للقارئ واحد: ما بين يديه حصيلة لإصدارات صدرت فعلًا، وليس خبرًا جديدًا. ومع ذلك يوضح البندان معًا أين تكمن الاختناقات الحقيقية لدى مالكي معالجات GPU.

Llama-2 بسياق 32k: من أين تأتي النافذة الطويلة

أطلقت Meta نموذج Llama-2 بثلاثة أحجام: 7B و13B و70B معاملًا. وكان السياق في الثلاثة جميعًا 4096 رمزًا. ظهرت نسخ 32k لاحقًا، وأعدّتها فرق مستقلة، منها Together AI بنموذج LLaMA-2-7B-32K. وعادةً تُستخدم لذلك تقنية استيفاء المواضع: تُمدَّد تضمينات المواضع لتغطي تسلسلًا أطول، ثم يُعاد تدريب النموذج على نصوص طويلة. تبقى البنية المعمارية كما هي، ويتغير فقط الأسلوب الذي يميّز به النموذج المسافات بين الرموز.

والفائدة العملية واضحة. فنحو 80–100 صفحة من النص تتسع في 32 ألف رمز، أي عقد طويل أو وحدة برمجية كبيرة أو محضر اجتماع من عدة ساعات بكامله، دون تقطيعه إلى أجزاء ودون بحث منفصل في قاعدة بيانات متجهية.

لكن الثمن يُدفع من الذاكرة. لنحسب لنموذج Llama-2-7B بدقة fp16: 32 طبقة وبُعد مخفي 4096. يشغل KV-cache للرمز الواحد 2 × 32 × 4096 × 2 بايت، أي 512 КБ. وعند 32 ألف رمز يصل الحجم إلى نحو 16 ГБ، وذلك لطلب واحد فقط. أما أوزان النموذج نفسها فتزن نحو 14 ГБ. والنتيجة أن جلسة طويلة واحدة لا تتسع في 24 ГБ من ذاكرة الفيديو، ويلزم بطاقة بسعة 40 أو 80 ГБ أو اللجوء إلى التكميم.

SDXL 1.0: ماذا حصل المستخدمون

أصبح SDXL 1.0 من Stability AI متاحًا للعموم في نهاية يوليو 2023. يعمل النموذج بمكوّنين مترابطين: تولّد الشبكة الأساسية الصورة، ويتولى refiner تحسين التفاصيل. تضم الشبكة الأساسية نحو 3,5 مليار معامل، ويبلغ حجم المجموعة كاملة نحو 6,6 مليار. وهذا أكبر بكثير من Stable Diffusion 1.5، كما ارتفعت الدقة الأصلية إلى 1024×1024. نُشرت الأوزان بموجب رخصة CreativeML Open RAIL++-M، ولذلك يمكن تشغيلها وإعادة تدريبها ذاتيًا.

وبالنسبة إلى مزوّدين مثل Runpod، يعني ذلك طلبًا مباشرًا على التأجير. فمن يملك في منزله بطاقة بسعة 8 ГБ ينقل SDXL إلى السحابة ويدفع بالساعة.

أبرز الأرقام

• سياق Llama-2: 4096 → 32 000 رمز، أي نمو بنحو 8 أضعاف.
• أحجام Llama-2: 7B و13B و70B معاملًا.
• KV-cache لنموذج Llama-2-7B بدقة fp16: نحو 512 КБ للرمز الواحد، ونحو 16 ГБ لكل 32k رمز.
• أوزان Llama-2-7B بدقة fp16: نحو 14 ГБ.
• SDXL 1.0: نحو 3,5 مليار معامل في النموذج الأساسي، ونحو 6,6 مليار مع refiner.
• الدقة الأصلية لـ SDXL: 1024×1024.

ما الذي يجب التحقق منه عمليًا

إذا كنتم تخططون لتشغيل سياق طويل على معالجات GPU مستأجرة، فاحسبوا الذاكرة مسبقًا. فمع نموذج 7B بنافذة 32k خصّصوا 40 ГБ على الأقل لجلسة متوازية واحدة. وللطلبات المتزامنة المتعددة تلزم بطاقة بسعة 80 ГБ، أو محرك استدلال يدير KV-cache بالصفحات، مثل vLLM. وتكميم الأوزان إلى 8 أو 4 بت يحرر جزءًا من الذاكرة، لكن الـ cache سيحتاج إلى ضغط منفصل.

أما مع SDXL فالأمر أيسر. تكفي بطاقة بسعة 16–24 ГБ للتوليد بدقة 1024×1024، ويمكن تفعيل refiner فقط حيث تهم التفاصيل. وقبل استئجار العتاد لنافذة طويلة، تحققوا مما إذا كان RAG التقليدي بسياق 4k يحل مهمتكم. فهو أرخص، وجودته في كثير من السيناريوهات ليست أقل.