تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
بنية تحتيةAPI / منتج · جاهز للعملAWS Machine Learning Blog→ المصدر

SageMaker يوجّه طلبات LLM إلى وحدة GPU التي يتوفر فيها الكاش جاهزًا: أول توكن أسرع بنسبة 97%

عندما تذهب طلبات الدردشة أو RAG إلى وحدة GPU عشوائية، تعيد هذه الوحدة حساب البرومبت الطويل من الصفر، مع أن الكاش جاهز على وحدة مجاورة. يرسل التوجيه الجديد KV_AWARE في SageMaker AI الطلب إلى المكان الذي يوجد فيه أطول تطابق. على Llama 3.1 70B انخفض زمن أول توكن بنسبة 97%، وارتفعت الإنتاجية بنسبة 234%. وفي المحادثات الطويلة وأنظمة RAG، يستحق هذا التوجيه الاختبار على حركة المرور الخاصة بك.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
SageMaker يوجّه طلبات LLM إلى وحدة GPU التي يتوفر فيها الكاش جاهزًا: أول توكن أسرع بنسبة 97%
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
حقيقة رئيسية #1ارتفعت نسبة إصابات الكاش من 3–48% إلى 80–93%
الاختبار7 نُسخ ml.p5.48xlarge، وبرومبتات تصل إلى 64 000 توكن
التفعيلالمتغير SM_VLLM_KV_EVENTS_CONFIG والقيمة KV_AWARE في الإعدادات

تخيّلوا نظام دعم فني قائمًا على LLM: كل محادثة تبدأ بالمقطع نفسه من قاعدة المعرفة، وحجمه 6 000 توكن. يحسب النموذج هذا المقطع مرة واحدة ويحفظ النتيجة في ذاكرة GPU، وهذا ما يسمى KV-cache. إذا وصل الرد التالي في المحادثة إلى خادم آخر لا يملك هذا الكاش، فستعيد وحدة GPU حساب الـ 6 000 توكن كلها، وسينتظر المستخدم أول توكن من الإجابة. أضافت Amazon SageMaker AI لنقاط النهاية real-time استراتيجية التوجيه KV_AWARE، التي ترسل الطلب إلى المكان الذي يوجد فيه الكاش المطلوب فعليًا. على Llama 3.1 70B خفّضت هذه الاستراتيجية الزمن الوسيط لأول توكن (TTFT) بنسبة 97%، ورفعت الإنتاجية بنسبة 234%.

ما عيب التوجيه حسب البادئة؟

كانت SageMaker تتضمن سابقًا استراتيجية PREFIX_AWARE. تحسب هذه الاستراتيجية هاش لبداية الطلب، أي عددًا محددًا من البايتات أو الأحرف (PrefixLength)، وترسل الطلبات المتشابهة إلى نسخة واحدة. لكن الموجّه لا يرى ما يوجد في الكاش فعليًا، ولذلك يخطئ في حالتين.

الأولى: تمتلئ ذاكرة GPU، فتُسقط النسخة سجلات الكاش القديمة، بينما يواصل الموجّه إرسال الطلبات إليها لأنه يظن أن الكاش ما زال دافئًا. الثانية: في الدردشة متعددة الأدوار يكبر السجل مع كل رد. وما دام الطلب أقصر من PrefixLength، يتغير النص الذي يُحسب له الهاش في كل دور، وقد يذهب الرد التالي إلى نسخة أخرى. لا «تلتصق» المحادثة بخادم واحد إلا عندما يتجاوز الطلب PrefixLength.

كيف يعمل KV_AWARE

تُبلغ حاوية النموذج بنفسها بما يوجد في الكاش: فعند كل حفظ للسجلات أو حذفها تنشر حدثًا. ويُفعَّل ذلك عبر المتغير SM_VLLM_KV_EVENTS_CONFIG. تجمع SageMaker هذه الأحداث في فهرس مُدار. لا يحتوي الفهرس على برومبتات أو معرّفات توكنات أو أجسام طلبات أو KV-tensors، بل على هاشات مبتورة غير قابلة للعكس فقط، ومؤشرات إلى النسخة أو إلى نسخة inference component التي توجد فيها.

عند وصول الطلب، تحوّل نقطة النهاية البرومبت إلى توكنات وتبحث عنها في الفهرس. ثم تقارن طول التطابق بحِمل النسخة. إذا كان أفضل مرشح مشغولًا، يذهب الطلب إلى النسخة الحرة التالية. وإذا لم توجد تطابقات مفيدة أو كانت جميع النسخ مشغولة، تعمل الموازنة المعتادة حسب الحِمل، كما في LEAST_OUTSTANDING_REQUESTS.

مثال من AWS: الرد الرابع في المحادثة يبلغ حجمه 6 200 توكن، والنسخة A تحتفظ بأول 6 000، وبالتالي ستحسب A المتبقي فقط وهو 200. أما في سيناريو الدعم الفني تحت الحِمل، فقد أسقطت A معظم مقطع قاعدة المعرفة، بينما تتذكر النسخة B أول 4 000 توكن منه. كان الموجّه المعتمد على البادئة سيرسل الطلب إلى A، أما الموجّه KV-aware فسيرسله إلى B. وعند الحِمل المنخفض لا يحدث إخلاء للكاش، فتختار الاستراتيجيتان النسخة A. ويُحتسب التطابق بالتوكنات، ولذلك لا حاجة إلى ضبط عتبة التوازي.

الأرقام والقيود

شغّلت AWS نموذج Llama 3.1 70B Instruct على سبع نُسخ ml.p5.48xlarge: اختبارات مدة كل منها 30 دقيقة، مع 20 أو 100 مستخدم افتراضي، ومحادثات متعددة الأدوار وأسئلة عن مستندات، وبرومبتات تصل إلى 64 000 توكن. مقارنةً بالتوجيه العشوائي، خفّض KV_AWARE مع البرومبتات الطويلة تحت الحِمل قيمة p50 TTFT بنسبة 97%، ورفع الإنتاجية بنسبة 234%، ورفع نسبة إصابات الكاش من 3–48% إلى 80–93%. واستفادت البرومبتات الطويلة أيضًا عند حِمل أقل. أما مع البرومبتات القصيرة فالمكسب ضئيل، إذ لا يوجد هناك ما يستحق إعادة الحساب تقريبًا.

ما يجب أخذه في الحسبان:

  • تعمل الاستراتيجية فقط ابتداءً من نسختين أو نسختين من inference component. ومع نسخة واحدة لا تغيّر شيئًا.
  • يلزم وجود حاوية مدعومة (AWS vLLM Deep Learning Container) مع تفعيل التخزين المؤقت للبادئات (prefix caching) وأحداث KV-cache.
  • يضيف الموجّه زمن تأخير إضافيًا يبلغ بضع مللي ثوانٍ للبرومبت القصير، ويزيد مع الطويل، وسببه الرئيسي تحويل النص إلى توكنات. أما مع استراتيجية البادئة فيبلغ 1,3–1,9 مللي ثانية.
  • بعد التوسيع أو التحديث، تبدأ النسخ الجديدة بكاش فارغ، ويكون زمن التأخير أعلى لبعض الوقت.
  • لا تظهر حالات الرجوع إلى الموازنة حسب الحِمل في وحدة التحكم ولا في المقاييس عند البدء، وسيتعين عليكم التحقق من الأثر بأنفسكم.

ماذا تفعل عمليًا

يتم التفعيل في خطوتين: أضيفوا متغير البيئة إلى النموذج، واضبطوا RoutingStrategy على KV_AWARE في RoutingConfig الخاص بنسخة نقطة النهاية. يستدعي العملاء نقطة النهاية عبر واجهات API نفسها.

إذا كان لديكم برومبت نظام مشترك ثابت، وطلبات قصيرة، وحِمل معتدل، فيكفي PREFIX_AWARE، فهو يعمل مع أي حاوية. أما KV_AWARE فهو للحالات التي يكون فيها السياق طويلًا والحِمل مرتفعًا وذاكرة GPU لا تكفي للكاش: المحادثات الطويلة، وأنظمة RAG ذات المستندات الكبيرة، والمساعدات ذات البرومبتات الثقيلة. وبما أن الأرقام الواردة في المدونة تتوقف على الحِمل، فشغّلوا حركة المرور الخاصة بكم على نقطتي نهاية وقارنوا TTFT والإنتاجية ونسبة إصابات الكاش.

القصة

أسئلة وأجوبة حول الخبر

ما عيب التوجيه حسب البادئة؟

كانت SageMaker تتضمن سابقًا استراتيجية PREFIX_AWARE. تحسب هذه الاستراتيجية هاش لبداية الطلب، أي عددًا محددًا من البايتات أو الأحرف (PrefixLength)، وترسل الطلبات المتشابهة إلى نسخة واحدة. لكن الموجّه لا يرى ما يوجد في الكاش فعليًا، ولذلك يخطئ في حالتين. الأولى: تمتلئ ذاكرة GPU، فتُسقط النسخة سجلات الكاش القديمة، بينما يواصل الموجّه إرسال الطلبات إليها لأنه يظن أن الكاش ما زال دافئًا. الثانية: في الدردشة متعددة الأدوار يكبر السجل مع كل رد.

ما أبرز التفاصيل حول كيف يعمل KV_AWARE؟

تُبلغ حاوية النموذج بنفسها بما يوجد في الكاش: فعند كل حفظ للسجلات أو حذفها تنشر حدثًا. ويُفعَّل ذلك عبر المتغير SM_VLLM_KV_EVENTS_CONFIG. تجمع SageMaker هذه الأحداث في فهرس مُدار. لا يحتوي الفهرس على برومبتات أو معرّفات توكنات أو أجسام طلبات أو KV-tensors، بل على هاشات مبتورة غير قابلة للعكس فقط، ومؤشرات إلى النسخة أو إلى نسخة inference component التي توجد فيها. عند وصول الطلب، تحوّل نقطة النهاية البرومبت إلى توكنات وتبحث عنها في الفهرس. ثم تقارن طول التطابق بحِمل النسخة.

ما أبرز التفاصيل حول الأرقام والقيود؟

شغّلت AWS نموذج Llama 3.1 70B Instruct على سبع نُسخ ml.p5.48xlarge: اختبارات مدة كل منها 30 دقيقة، مع 20 أو 100 مستخدم افتراضي، ومحادثات متعددة الأدوار وأسئلة عن مستندات، وبرومبتات تصل إلى 64 000 توكن. مقارنةً بالتوجيه العشوائي، خفّض KV_AWARE مع البرومبتات الطويلة تحت الحِمل قيمة p50 TTFT بنسبة 97%، ورفع الإنتاجية بنسبة 234%، ورفع نسبة إصابات الكاش من 3–48% إلى 80–93%. واستفادت البرومبتات الطويلة أيضًا عند حِمل أقل. أما مع البرومبتات القصيرة فالمكسب ضئيل، إذ لا يوجد هناك ما يستحق إعادة الحساب تقريبًا.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…