Amazon SageMaker ترصد تلقائيًا وحدات GPU الخاملة وارتفاع زمن الاستجابة في نقاط نهاية LLM
نقطة نهاية LLM العاملة «تنحرف» مع الوقت: تطول المطالبات (prompts)، وتبقى وحدات GPU خاملة، ولا تصدر أي تنبيهات لأن شيئًا لم يتعطل. أصبحت Amazon SageMaker AI تراقب افتراضيًا نقاط النهاية العاملة على vLLM ووحدات GPU، وترسل إشعارًا عبر AWS Health. تقارن الخدمة زمن الاستجابة الوسيط والزمن حتى أول رمز بما كان عليه الأسبوع الماضي، وتبحث عن وحدات GPU غير المستغلة بالكامل. بعد ذلك يُشغَّل بنقرة واحدة اختبار أداء (بنشمارك) للبدائل، ولا تتغير بيئة الإنتاج دون قراركم.
معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
تكون نقطة نهاية LLM مضبوطة بإتقان في يوم الإطلاق تحديدًا. يختار الفريق نوع الـ instance ومعلمات التقديم (serving) والتوسع التلقائي بما يناسب حركة المرور آنذاك، ثم ينتقل إلى مهام أخرى. لكن حركة المرور تتغير، وتصبح المطالبات (prompts) أطول، وتصدر إصدارات جديدة من vLLM، وتظهر نقاط تحقق (checkpoints) جديدة بعد الضبط الدقيق. وهكذا «تنحرف» نقطة النهاية بصمت: يرتفع الزمن حتى أول رمز، وتبقى بعض التحسينات غير مفعّلة، وتظل وحدة GPU باهظة الثمن خاملة لأسابيع. لا شيء يتعطل، والتنبيهات صامتة، ولا يلاحظ المشكلة سوى المستخدمين أو القسم المالي. قررت Amazon SageMaker AI سد هذه الثغرة.
ما الذي تتم مراقبته الآن بالضبط
المراقبة مفعّلة افتراضيًا لنقاط نهاية SageMaker AI العاملة على حاويات vLLM ومثيلات GPU. لا حاجة إلى إعداد أي شيء. تراقب الخدمة الإشارات التشغيلية فقط: زمن الاستجابة وحمل GPU وإعدادات التقديم. وهي لا تقرأ محتوى الطلبات والردود، ولا تتسبب المراقبة في أي تكاليف إضافية على GPU.
تندرج النتائج في ثلاثة أنواع:
- انحراف زمن الاستجابة. ارتفع زمن الاستجابة الوسيط (p50) من البداية إلى النهاية، أو الزمن حتى أول رمز، مقارنةً بالأسبوع الماضي. تجري المقارنة مع السجل التاريخي لنقطة النهاية نفسها، ولذلك لا حاجة إلى تحديد عتبة.
- قدرة غير مستخدمة. وحدات GPU التي تدفعون ثمنها شبه خاملة. في المثال الذي قدمته AWS، لم تستخدم أكثر وحدات GPU انشغالًا خلال الأسبوع أكثر من 12% من سعتها.
- فجوات في الإعدادات. الحاوية متأخرة عن إصدار يوفر تسريعًا ورقعًا أمنية (ثغرات CVE الحرجة وعالية الخطورة). أو أن النموذج يدعم فك الترميز التخميني (speculative decoding) أو ضبط أنوية GPU، لكن نقطة النهاية لا تستخدمهما.
يصل الإشعار عبر AWS Health وبالبريد الإلكتروني، بواقع إشعار واحد لكل نقطة نهاية يتضمن جميع النتائج دفعة واحدة. يوضح الإشعار ما رُصد، ولماذا يهم، وما الخطوة التالية. وتُعلَّم التقديرات في النص بوصفها تقديرات، لأن اختبار الأداء لم يُشغَّل بعد في هذه المرحلة.
من الإشعار إلى القرار
تفتح نقرة واحدة واجهة وكيلية (agentic) في SageMaker Studio، تكون فيها نقطة النهاية وحركة المرور الأخيرة عليها جاهزتين مسبقًا. يعيد الوكيل صياغة النتيجة بكلمات بسيطة ويطلب التأكيد. بعد ذلك يولّد دفتر ملاحظات (notebook) بواسطة SageMaker Python SDK، وهو ينشئ مهمة inference recommendation. توضع كل خطوة في خلية مستقلة، ما يتيح مراجعة الشيفرة وتعديلها قبل التشغيل.
تُجرى اختبارات الأداء على موارد منفصلة، وتقارن الإعداد الحالي بالبدائل من حيث زمن الاستجابة والإنتاجية وتكلفة مليون رمز. ويتوقف ما يُفحص على نوع النتيجة:
- عند انحراف زمن الاستجابة: إعدادات التوازي التنسوري (tensor parallelism)، وأنواع وأحجام أخرى من الـ instances؛
- عند خمول GPU: مثيلات أرخص وأصغر عند ذروة الحمل المرصودة؛
- عند تعطيل فك الترميز التخميني: مقارنة «معه» و«بدونه»؛
- عند قِدم الحاوية: الإصدار القديم والإصدار المحدّث.
لا يُمَس الإنتاج ما لم تطبقوا النتيجة بأنفسكم. وتنصح AWS بتطبيق التغيير أولًا على متغير إنتاج واحد (production variant) والاحتفاظ بالإعداد السابق للتراجع عند الحاجة. و«الإبقاء على الوضع كما هو» يُعد أيضًا نتيجة طبيعية. فقد يقرر الفريق مثلًا أن هامش GPU ضروري لنمو مخطط له، فلا يصغّر الـ instance.
ماذا نفعل بهذا
بالنسبة إلى الفرق التي تشغّل LLM في الإنتاج على SageMaker، تمثل هذه الميزة طبقة مجانية للتحكم في التكاليف والجودة. وتبرز فائدتها خصوصًا حين لا يتابع أحد نقطة النهاية يوميًا: المساعدات الداخلية، وإكمال الشيفرة تلقائيًا، والتلخيص. ومن الأمثلة النموذجية الواردة في المقال: بعد إضافة RAG أصبحت المطالبات أطول، وبدأت الردود تصل أبطأ، ولم تعمل التنبيهات المضبوطة يدويًا.
وهناك قيود أيضًا. تعمل المراقبة مع حاويات vLLM ومثيلات GPU فقط. والإشعارات مرتبطة بالمنطقة (Region)، ولذلك تظهر النتائج عند الدخول إلى منطقة نقطة النهاية، كما أن عدد الإشعارات لكل حساب محدود. وتُدفع تكلفة اختبارات الأداء وفق تعرفة SageMaker المعتادة أو من حجز ML الخاص بكم، ويلزم توفر حصة (quota) كافية لمثيلات الاختبار. كما تتوقف النتيجة على حركة المرور: قد يختلف المكسب، مثلًا من فك الترميز التخميني، بين وقت الذروة وخارجه.
إذا لم ترغبوا في جمع القياسات عن بُعد (telemetry)، يمكن استثناء نقطة النهاية. لذلك يُضبط المتغير OPT_OUT_TRACKING بأي قيمة في خريطة Environment عند CreateModel. عندها لا تجمع الخدمة مقاييس المحرك ولا مقاييس GPU ولا بيانات الإعداد عند البدء، ولا ترسل أي شيء.
الخلاصة العملية بسيطة. تحققوا من نقاط النهاية الخاضعة للمراقبة، وفعّلوا استلام الإشعارات في AWS User Notifications، وأدرجوا في عملياتكم مراجعة دورية للنتائج، مثلًا مرة في الشهر.
- 20 نوفمبر 2026بطولة الوكلاء في Cisco: 1200 مهندس، والفائز كتب 1220 توكنًا بدل 1430
- 20 نوفمبر 2026AWS تعلّم وكلاء الذكاء الاصطناعي شراء واجهات API من Marketplace والدفع عبر فاتورة AWS المعتادة
- 20 نوفمبر 2026BMW تنقل قواعد وكلاء الذكاء الاصطناعي إلى CI/CD وسجل مشترك لصالح 12 500 مطوّر
- 19 نوفمبر 2026أمازون وجوجل ستحصلان على 28,4% من Anthropic بعد الطرح العام الأولي، لكن دون حق التصويت
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما الذي تتم مراقبته الآن بالضبط؟
المراقبة مفعّلة افتراضيًا لنقاط نهاية SageMaker AI العاملة على حاويات vLLM ومثيلات GPU. لا حاجة إلى إعداد أي شيء. تراقب الخدمة الإشارات التشغيلية فقط: زمن الاستجابة وحمل GPU وإعدادات التقديم. وهي لا تقرأ محتوى الطلبات والردود، ولا تتسبب المراقبة في أي تكاليف إضافية على GPU. تندرج النتائج في ثلاثة أنواع: انحراف زمن الاستجابة. ارتفع زمن الاستجابة الوسيط (p50) من البداية إلى النهاية، أو الزمن حتى أول رمز، مقارنةً بالأسبوع الماضي. تجري المقارنة مع السجل التاريخي لنقطة النهاية نفسها، ولذلك لا حاجة إلى تحديد عتبة.
ما أبرز التفاصيل حول من الإشعار إلى القرار؟
تفتح نقرة واحدة واجهة وكيلية (agentic) في SageMaker Studio، تكون فيها نقطة النهاية وحركة المرور الأخيرة عليها جاهزتين مسبقًا. يعيد الوكيل صياغة النتيجة بكلمات بسيطة ويطلب التأكيد. بعد ذلك يولّد دفتر ملاحظات (notebook) بواسطة SageMaker Python SDK، وهو ينشئ مهمة inference recommendation. توضع كل خطوة في خلية مستقلة، ما يتيح مراجعة الشيفرة وتعديلها قبل التشغيل. تُجرى اختبارات الأداء على موارد منفصلة، وتقارن الإعداد الحالي بالبدائل من حيث زمن الاستجابة والإنتاجية وتكلفة مليون رمز.
ما أبرز التفاصيل حول ماذا نفعل بهذا؟
بالنسبة إلى الفرق التي تشغّل LLM في الإنتاج على SageMaker، تمثل هذه الميزة طبقة مجانية للتحكم في التكاليف والجودة. وتبرز فائدتها خصوصًا حين لا يتابع أحد نقطة النهاية يوميًا: المساعدات الداخلية، وإكمال الشيفرة تلقائيًا، والتلخيص. ومن الأمثلة النموذجية الواردة في المقال: بعد إضافة RAG أصبحت المطالبات أطول، وبدأت الردود تصل أبطأ، ولم تعمل التنبيهات المضبوطة يدويًا. وهناك قيود أيضًا. تعمل المراقبة مع حاويات vLLM ومثيلات GPU فقط.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.