ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارAWS Machine Learning Blog→ المصدر

AWS تزوّد الوكلاء بمهارة للتخزين المؤقت المشترك لنماذج LLM: تكلفة أقل بنسبة تصل إلى 40% واستجابة أولى أسرع بنسبة 80%

إذا كنت تستضيف نماذج LLM على وحدات GPU، فإن الخادم يعيد بعد أي توقف احتساب كامل سجل المحادثة (KV-cache)، ويضطر المحامي إلى انتظار الرمز الأول 13 ثانية. أطلقت AWS مهارة لـ Claude Code وKiro وCodex: يقدّر الوكيل جدوى الذاكرة المؤقتة المشتركة على ElastiCache وينشرها بنفسه. المعلن هو توفير يصل إلى 40% في تكلفة الاستدلال وتقليص يصل إلى 80% في زمن الوصول إلى الرمز الأول (TTFT). قدّر الجدوى أولًا على حركة بياناتك الفعلية.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
AWS تزوّد الوكلاء بمهارة للتخزين المؤقت المشترك لنماذج LLM: تكلفة أقل بنسبة تصل إلى 40% واستجابة أولى أسرع بنسبة 80%
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
حقيقة رئيسية #1تعمل في Kiro وClaude Code وOpenAI Codex وغيرها من الوكلاء التي تدعم Agent Skills
حقيقة رئيسية #2تحتسب أداة KVTrace الجدوى على حركة بياناتك مجانًا قبل التشغيل
حقيقة رئيسية #3لا ينشئ الوكيل الموارد ولا يحذفها إلا بعد تأكيدك

تخيّل مساعدًا قانونيًا يعمل بالذكاء الاصطناعي على وحدات GPU خاصة بك. تراكمت في محادثة واحدة مئات الآلاف من الرموز من سجل القضية. عاد المحامي إليها بعد الغداء، لكن طلبه وصل إلى خادم لا يحتفظ في ذاكرته بهذا السجل. فتعيد بطاقة الرسوميات احتساب KV-cache، أي «الملاحظات» الداخلية للنموذج عن كل رمز من النص الذي قرأه سابقًا. تُسمّى هذه المرحلة prefill، وطوال مدتها لا يرى المستخدم كلمة واحدة. في مثال AWS ومع سياق من 64 ألف رمز، وصل الرمز الأول بعد 13 ثانية. يُختصر هذا التوقف باسم TTFT، أي زمن الوصول إلى الرمز الأول.

تقترح AWS نقل الذاكرة المؤقتة من ذاكرة كل خادم على حدة إلى طبقة مشتركة بجوار أسطول GPU على Amazon ElastiCache. عندئذٍ يلتقط أي خادم الحالة الجاهزة، حتى لو انتقل الطلب إلى جهاز آخر أو تعطل الخادم السابق. بحسب بيانات AWS، تخفّض هذه الذاكرة الموزعة لـ KV تكلفة الاستدلال بنسبة تصل إلى 40% وزمن TTFT بنسبة تصل إلى 80%. هذه هي القيم القصوى الواردة في بيان الشركة، وليست ضمانًا لأي حمل عمل. الجديد هو أن AWS أصدرت مهارة (skill) جاهزة للإعداد ضمن Agent Toolkit for AWS. تعمل المهارة في Kiro وClaude Code وOpenAI Codex وغيرها من الوكلاء الذين يدعمون Agent Skills.

أربعة سيناريوهات لعمل المهارة

تعرض AWS أربع محادثات مع الوكيل.

في الأولى، يشخّص الوكيل بطء الرمز الأول. يبحث أولًا عن حلول لا تتطلب بنية تحتية جديدة. إذا كنت قد عطّلت prefix caching، فيكفي إعادة تفعيله. وإذا كانت نسبة الإصابات في الذاكرة المؤقتة المحلية لوحدة GPU تتجاوز 90% مع ربط الجلسات بالخادم، فقد لا تحتاج إلى ذاكرة مشتركة. كما ينبّه الوكيل إلى مخاطر تعدد المستأجرين (multitenancy): فمن زمن الاستجابة قد يستنتج عميل أن عميلًا آخر أرسل النص نفسه. لذلك تُحفظ القضايا الواجب عزلها في ذاكرات مؤقتة منفصلة، وعند استخدام ذاكرة مشتركة يُضاف معرّف المستأجر إلى التجزئة (hash).

في السيناريو الثاني، يقدّر الوكيل التوفير. لأسطول من 8 نسخ p5 وطلبات بطول 64 ألف رمز، أخذ الأسعار من قائمة أسعار AWS وأوصى بعقدتين من نوع cache.i8ge.48xlarge. ولا يختلق الوكيل نسبة الإصابات في الذاكرة المؤقتة، بل يقترح قياسها عبر KVTrace.

KVTrace والإعداد وتصحيح الأخطاء

تسجّل KVTrace أحداث KV-cache من vLLM أو SGLang، ثم تعيد تشغيلها دون اتصال على ذاكرة مشتركة بأحجام مختلفة. تحتوي السجلات على تجزئات الكتل وعدد الرموز، لا على نصوص الأوامر. وبما أن التجزئات تُبنى من المحتوى، تنصح AWS باستخدام الخيار --anonymize-key-file مع البيانات الحساسة. الأفضل أن يجري التسجيل على جميع الخوادم خلال فترة تمثيلية، مثل يوم عمل كامل. ويوصي التقرير بأصغر حجم يحقق 90% من سقف التوفير. وفي الأوامر القصيرة قد تستغرق قراءة الذاكرة المؤقتة وقتًا أطول من إعادة الاحتساب، ولذلك يحسم الأمر طول الأمر وتكرار التكرارات.

في السيناريو الثالث، ينشر الوكيل الذاكرة من الصفر. بعد تأكيدك، ينشئ مجموعة أمان (security group) بصلاحيات EFA وعنقود Valkey 9.1 مع سياسات الإخلاء. وتُنشأ لـ LMCache مستخدمة مستقلة، وتُحفظ كلمة المرور في Secrets Manager. بعدها يربط الوكيل موصّل LMCache بـ vLLM أو SGLang القائم، بما في ذلك الخيارات الخاصة بـ llm-d وRay Serve. ويعيّن لجميع الخوادم آلية KV ID واحدة ونوع بيانات صريحًا، وإلا كتب كل خادم حالة لن يجدها الآخرون. وقبل الإنتاج يفرغ المستويات المحلية ويتحقق من أن تشغيلين يحمّلان من الذاكرة المؤقتة يعطيان الإجابة نفسها. فإذا لم يتطابق تخطيط البيانات، تبدو عدّادات الإصابات جيدة بينما تأتي الإجابات خاطئة.

في السيناريو الرابع، يحلل الوكيل عطلًا. الاتصال بـ ElastiCache قائم، لكن نقل البيانات يفشل ويرتفع عدّاد rdma_write_errors. السبب المرجّح هو أن مجموعة الأمان تحجب حركة EFA بين المشاركين أنفسهم. ويقدّم الوكيل أوامر للفحص والإصلاح.

القيود والخلاصة العملية

المتطلبات صارمة: نسخ تدعم EFA RDMA write (مثل p5)، وLMCache بالإصدار 0.5.8rc1 أو أحدث، وvLLM بالإصدار 0.11.1 أو أحدث أو SGLang بالإصدار 0.5.13 أو أحدث، وElastiCache for Valkey 9.1 أو أحدث على عقد cache.i8ge.48xlarge. ولا يتحول وقت GPU المتاح إلى مال إلا إذا خفّضت عدد الخوادم أو خدمت حركة أكبر على الخوادم نفسها.

إذا كانت لديك محادثات طويلة متعددة الجولات، أو RAG، أو جلسات وكلاء قابلة للاستئناف على وحدات GPU خاصة بك، فسجّل أولًا أثر KVTrace على مدى يوم عمل. وافحص في الوقت نفسه الخيارات الرخيصة: prefix caching وربط الجلسات. تكون الذاكرة المشتركة مبررة عندما يُظهر الحساب أن التوفير يغطي سعر العقد. أما المهارة نفسها فتؤتمت الأعمال الروتينية فحسب، وتطلب إذنك قبل كل إجراء مهم.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول أربعة سيناريوهات لعمل المهارة؟

تعرض AWS أربع محادثات مع الوكيل. في الأولى، يشخّص الوكيل بطء الرمز الأول. يبحث أولًا عن حلول لا تتطلب بنية تحتية جديدة. إذا كنت قد عطّلت prefix caching، فيكفي إعادة تفعيله. وإذا كانت نسبة الإصابات في الذاكرة المؤقتة المحلية لوحدة GPU تتجاوز 90% مع ربط الجلسات بالخادم، فقد لا تحتاج إلى ذاكرة مشتركة. كما ينبّه الوكيل إلى مخاطر تعدد المستأجرين (multitenancy): فمن زمن الاستجابة قد يستنتج عميل أن عميلًا آخر أرسل النص نفسه.

ما أبرز التفاصيل حول KVTrace والإعداد وتصحيح الأخطاء؟

تسجّل KVTrace أحداث KV-cache من vLLM أو SGLang، ثم تعيد تشغيلها دون اتصال على ذاكرة مشتركة بأحجام مختلفة. تحتوي السجلات على تجزئات الكتل وعدد الرموز، لا على نصوص الأوامر. وبما أن التجزئات تُبنى من المحتوى، تنصح AWS باستخدام الخيار --anonymize-key-file مع البيانات الحساسة. الأفضل أن يجري التسجيل على جميع الخوادم خلال فترة تمثيلية، مثل يوم عمل كامل. ويوصي التقرير بأصغر حجم يحقق 90% من سقف التوفير.

ما أبرز التفاصيل حول القيود والخلاصة العملية؟

المتطلبات صارمة: نسخ تدعم EFA RDMA write (مثل p5)، وLMCache بالإصدار 0.5.8rc1 أو أحدث، وvLLM بالإصدار 0.11.1 أو أحدث أو SGLang بالإصدار 0.5.13 أو أحدث، وElastiCache for Valkey 9.1 أو أحدث على عقد cache.i8ge.48xlarge. ولا يتحول وقت GPU المتاح إلى مال إلا إذا خفّضت عدد الخوادم أو خدمت حركة أكبر على الخوادم نفسها. إذا كانت لديك محادثات طويلة متعددة الجولات، أو RAG، أو جلسات وكلاء قابلة للاستئناف على وحدات GPU خاصة بك، فسجّل أولًا أثر KVTrace على مدى يوم عمل.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
ما رأيك؟
جارٍ تحميل التعليقات…