AWS تزوّد الوكلاء بمهارة للتخزين المؤقت المشترك لنماذج LLM: تكلفة أقل بنسبة تصل إلى 40% واستجابة أولى أسرع بنسبة 80%
إذا كنت تستضيف نماذج LLM على وحدات GPU، فإن الخادم يعيد بعد أي توقف احتساب كامل سجل المحادثة (KV-cache)، ويضطر المحامي إلى انتظار الرمز الأول 13 ثانية. أطلقت AWS مهارة لـ Claude Code وKiro وCodex: يقدّر الوكيل جدوى الذاكرة المؤقتة المشتركة على ElastiCache وينشرها بنفسه. المعلن هو توفير يصل إلى 40% في تكلفة الاستدلال وتقليص يصل إلى 80% في زمن الوصول إلى الرمز الأول (TTFT). قدّر الجدوى أولًا على حركة بياناتك الفعلية.
معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
تخيّل مساعدًا قانونيًا يعمل بالذكاء الاصطناعي على وحدات GPU خاصة بك. تراكمت في محادثة واحدة مئات الآلاف من الرموز من سجل القضية. عاد المحامي إليها بعد الغداء، لكن طلبه وصل إلى خادم لا يحتفظ في ذاكرته بهذا السجل. فتعيد بطاقة الرسوميات احتساب KV-cache، أي «الملاحظات» الداخلية للنموذج عن كل رمز من النص الذي قرأه سابقًا. تُسمّى هذه المرحلة prefill، وطوال مدتها لا يرى المستخدم كلمة واحدة. في مثال AWS ومع سياق من 64 ألف رمز، وصل الرمز الأول بعد 13 ثانية. يُختصر هذا التوقف باسم TTFT، أي زمن الوصول إلى الرمز الأول.
تقترح AWS نقل الذاكرة المؤقتة من ذاكرة كل خادم على حدة إلى طبقة مشتركة بجوار أسطول GPU على Amazon ElastiCache. عندئذٍ يلتقط أي خادم الحالة الجاهزة، حتى لو انتقل الطلب إلى جهاز آخر أو تعطل الخادم السابق. بحسب بيانات AWS، تخفّض هذه الذاكرة الموزعة لـ KV تكلفة الاستدلال بنسبة تصل إلى 40% وزمن TTFT بنسبة تصل إلى 80%. هذه هي القيم القصوى الواردة في بيان الشركة، وليست ضمانًا لأي حمل عمل. الجديد هو أن AWS أصدرت مهارة (skill) جاهزة للإعداد ضمن Agent Toolkit for AWS. تعمل المهارة في Kiro وClaude Code وOpenAI Codex وغيرها من الوكلاء الذين يدعمون Agent Skills.
أربعة سيناريوهات لعمل المهارة
تعرض AWS أربع محادثات مع الوكيل.
في الأولى، يشخّص الوكيل بطء الرمز الأول. يبحث أولًا عن حلول لا تتطلب بنية تحتية جديدة. إذا كنت قد عطّلت prefix caching، فيكفي إعادة تفعيله. وإذا كانت نسبة الإصابات في الذاكرة المؤقتة المحلية لوحدة GPU تتجاوز 90% مع ربط الجلسات بالخادم، فقد لا تحتاج إلى ذاكرة مشتركة. كما ينبّه الوكيل إلى مخاطر تعدد المستأجرين (multitenancy): فمن زمن الاستجابة قد يستنتج عميل أن عميلًا آخر أرسل النص نفسه. لذلك تُحفظ القضايا الواجب عزلها في ذاكرات مؤقتة منفصلة، وعند استخدام ذاكرة مشتركة يُضاف معرّف المستأجر إلى التجزئة (hash).
في السيناريو الثاني، يقدّر الوكيل التوفير. لأسطول من 8 نسخ p5 وطلبات بطول 64 ألف رمز، أخذ الأسعار من قائمة أسعار AWS وأوصى بعقدتين من نوع cache.i8ge.48xlarge. ولا يختلق الوكيل نسبة الإصابات في الذاكرة المؤقتة، بل يقترح قياسها عبر KVTrace.
KVTrace والإعداد وتصحيح الأخطاء
تسجّل KVTrace أحداث KV-cache من vLLM أو SGLang، ثم تعيد تشغيلها دون اتصال على ذاكرة مشتركة بأحجام مختلفة. تحتوي السجلات على تجزئات الكتل وعدد الرموز، لا على نصوص الأوامر. وبما أن التجزئات تُبنى من المحتوى، تنصح AWS باستخدام الخيار --anonymize-key-file مع البيانات الحساسة. الأفضل أن يجري التسجيل على جميع الخوادم خلال فترة تمثيلية، مثل يوم عمل كامل. ويوصي التقرير بأصغر حجم يحقق 90% من سقف التوفير. وفي الأوامر القصيرة قد تستغرق قراءة الذاكرة المؤقتة وقتًا أطول من إعادة الاحتساب، ولذلك يحسم الأمر طول الأمر وتكرار التكرارات.
في السيناريو الثالث، ينشر الوكيل الذاكرة من الصفر. بعد تأكيدك، ينشئ مجموعة أمان (security group) بصلاحيات EFA وعنقود Valkey 9.1 مع سياسات الإخلاء. وتُنشأ لـ LMCache مستخدمة مستقلة، وتُحفظ كلمة المرور في Secrets Manager. بعدها يربط الوكيل موصّل LMCache بـ vLLM أو SGLang القائم، بما في ذلك الخيارات الخاصة بـ llm-d وRay Serve. ويعيّن لجميع الخوادم آلية KV ID واحدة ونوع بيانات صريحًا، وإلا كتب كل خادم حالة لن يجدها الآخرون. وقبل الإنتاج يفرغ المستويات المحلية ويتحقق من أن تشغيلين يحمّلان من الذاكرة المؤقتة يعطيان الإجابة نفسها. فإذا لم يتطابق تخطيط البيانات، تبدو عدّادات الإصابات جيدة بينما تأتي الإجابات خاطئة.
في السيناريو الرابع، يحلل الوكيل عطلًا. الاتصال بـ ElastiCache قائم، لكن نقل البيانات يفشل ويرتفع عدّاد rdma_write_errors. السبب المرجّح هو أن مجموعة الأمان تحجب حركة EFA بين المشاركين أنفسهم. ويقدّم الوكيل أوامر للفحص والإصلاح.
القيود والخلاصة العملية
المتطلبات صارمة: نسخ تدعم EFA RDMA write (مثل p5)، وLMCache بالإصدار 0.5.8rc1 أو أحدث، وvLLM بالإصدار 0.11.1 أو أحدث أو SGLang بالإصدار 0.5.13 أو أحدث، وElastiCache for Valkey 9.1 أو أحدث على عقد cache.i8ge.48xlarge. ولا يتحول وقت GPU المتاح إلى مال إلا إذا خفّضت عدد الخوادم أو خدمت حركة أكبر على الخوادم نفسها.
إذا كانت لديك محادثات طويلة متعددة الجولات، أو RAG، أو جلسات وكلاء قابلة للاستئناف على وحدات GPU خاصة بك، فسجّل أولًا أثر KVTrace على مدى يوم عمل. وافحص في الوقت نفسه الخيارات الرخيصة: prefix caching وربط الجلسات. تكون الذاكرة المشتركة مبررة عندما يُظهر الحساب أن التوفير يغطي سعر العقد. أما المهارة نفسها فتؤتمت الأعمال الروتينية فحسب، وتطلب إذنك قبل كل إجراء مهم.
- 21 نوفمبر 2026GS Caltex ускорила запуск ML-моделей в работу с недели до нескольких часов
- 21 نوفمبر 2026Amazon SageMaker HyperPod يبدأ بحفظ الطلبات الحية إلى نماذج LLM في S3 على ثلاثة مستويات
- 21 نوفمبر 2026أمازون تفتح SGLang-Neuron: تشغيل gpt-oss-120b على رقائق Trainium دون تغيير الـ API
- 21 نوفمبر 2026كاليفورنيا تحظر سيارات الأجرة الآلية من Waymo على جميع الطرق السريعة بسبب مناطق الصيانة
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول أربعة سيناريوهات لعمل المهارة؟
تعرض AWS أربع محادثات مع الوكيل. في الأولى، يشخّص الوكيل بطء الرمز الأول. يبحث أولًا عن حلول لا تتطلب بنية تحتية جديدة. إذا كنت قد عطّلت prefix caching، فيكفي إعادة تفعيله. وإذا كانت نسبة الإصابات في الذاكرة المؤقتة المحلية لوحدة GPU تتجاوز 90% مع ربط الجلسات بالخادم، فقد لا تحتاج إلى ذاكرة مشتركة. كما ينبّه الوكيل إلى مخاطر تعدد المستأجرين (multitenancy): فمن زمن الاستجابة قد يستنتج عميل أن عميلًا آخر أرسل النص نفسه.
ما أبرز التفاصيل حول KVTrace والإعداد وتصحيح الأخطاء؟
تسجّل KVTrace أحداث KV-cache من vLLM أو SGLang، ثم تعيد تشغيلها دون اتصال على ذاكرة مشتركة بأحجام مختلفة. تحتوي السجلات على تجزئات الكتل وعدد الرموز، لا على نصوص الأوامر. وبما أن التجزئات تُبنى من المحتوى، تنصح AWS باستخدام الخيار --anonymize-key-file مع البيانات الحساسة. الأفضل أن يجري التسجيل على جميع الخوادم خلال فترة تمثيلية، مثل يوم عمل كامل. ويوصي التقرير بأصغر حجم يحقق 90% من سقف التوفير.
ما أبرز التفاصيل حول القيود والخلاصة العملية؟
المتطلبات صارمة: نسخ تدعم EFA RDMA write (مثل p5)، وLMCache بالإصدار 0.5.8rc1 أو أحدث، وvLLM بالإصدار 0.11.1 أو أحدث أو SGLang بالإصدار 0.5.13 أو أحدث، وElastiCache for Valkey 9.1 أو أحدث على عقد cache.i8ge.48xlarge. ولا يتحول وقت GPU المتاح إلى مال إلا إذا خفّضت عدد الخوادم أو خدمت حركة أكبر على الخوادم نفسها. إذا كانت لديك محادثات طويلة متعددة الجولات، أو RAG، أو جلسات وكلاء قابلة للاستئناف على وحدات GPU خاصة بك، فسجّل أولًا أثر KVTrace على مدى يوم عمل.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.