ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةAPI / منتج · جاهز للعملAWS Machine Learning Blog→ المصدر

Amazon SageMaker HyperPod يبدأ بحفظ الطلبات الحية إلى نماذج LLM في S3 على ثلاثة مستويات

يواجه النموذج في بيئة الإنتاج ما لم يكن في الاختبارات: منتجات جديدة ولغة عامية. وأصبحت Amazon SageMaker HyperPod (خدمة من AWS للنماذج على عناقيد GPU) تحفظ الطلبات والردود الحية في تخزين S3 على ثلاثة مستويات: نقطة النهاية endpoint وموزّع الأحمال والـ pod الخاص بالنموذج. في العرض التجريبي لم يكن موجّه التذاكر يعرف شيئًا عن المكيفات الجديدة، فاكتُشفت الفجوة عبر Athena وسُدّت بإعادة التدريب. لذلك من الأفضل تفعيل تسجيل الحركة قبل ظهور أول انحراف في أداء النموذج.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
Amazon SageMaker HyperPod يبدأ بحفظ الطلبات الحية إلى نماذج LLM في S3 على ثلاثة مستويات
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
حقيقة رئيسية #1المستويان 1 و3 يحفظان النصوص كاملة، وعند تفعيلهما معًا تتكرر السجلات مرتين
العرض التجريبي900 تذكرة خلال 15 دقيقة، ومجموعة التقييم تضم 280 مثالًا
قد تحتوي السجلات على أسماء وعناوينيلزم تشفير KMS وإخفاء البيانات الحساسة

تخيّل روبوت دعم فني لمتجر أجهزة منزلية. بالأمس كان يصنّف بدقة الطلبات المتعلقة بالثلاجات والغسالات، واليوم أطلق المتجر مكيفات الهواء ولم يعد الروبوت يعرف كيف يتعامل معها. الاختبارات المُعدّة مسبقًا لن تكشف ذلك، فقد أُنشئت قبل إطلاق المنتج الجديد. لا يمكن رصد المشكلة إلا في طلبات المستخدمين الفعلية، وهذه الطلبات يجب تخزينها في مكان ما. لهذا أضافت AWS إلى Amazon SageMaker HyperPod ميزة Data Capture. وHyperPod هي خدمة من AWS لتشغيل النماذج وإعادة تدريبها على عناقيد GPU. تسجّل Data Capture الطلبات الواردة وردود النموذج العامل في S3، أي في التخزين السحابي من Amazon. ووفق بيانات AWS، فإن زمن التأخير الناتج عن ذلك ضئيل، ولا تتأثر إتاحة النموذج.

ثلاثة مستويات للتسجيل: ما الذي يُحفظ بالضبط

تُفعَّل الميزة عبر كتلة dataCapture في الإعدادات. يمكن التسجيل في ثلاث نقاط مستقلة على مسار الطلب، ويمكن الجمع بين أي منها.

المستوى الأول هو endpoint في SageMaker، أي نقطة دخول النموذج. هنا تُحفظ الطلبات والردود كاملة عبر الآلية المدمجة في SageMaker. وهو مخصص للامتثال والتدقيق وخدمة Model Monitor.

المستوى الثاني هو موزّع الأحمال ALB. يكتب هذا المستوى حقول سجلات الوصول access logs فقط: سطر الطلب ورموز الاستجابة والتوقيتات وعنوان IP للعميل وuser agent. لا توجد فيه نصوص المحادثات. لكنه وسيلة رخيصة لمراقبة الحركة ونسبة الأخطاء.

المستوى الثالث هو pod النموذج، وهو مجموعة الحاويات في Kubernetes. يضيف مشغّل الاستدلال في HyperPod إليه ثلاث حاويات مساعدة: وكيل NGINX وجامع OpenTelemetry ومحمِّل إلى S3. تصل إلى الحاوية الطلبات والردود كاملة مع بيانات وصفية للأحداث. يُختار هذا المستوى لأغراض التصحيح والتحليلات وجمع بيانات التدريب.

تنبيه مهم: المستويان 1 و3 كلاهما يحفظ النصوص كاملة. وإذا فُعّل المستويان معًا، فسيظهر كل سجل في S3 مرتين. لذلك توصي AWS باختيار المستوى بحسب المهمة: الأول للامتثال، والثاني لمقاييس الحركة، والثالث للعمل على المحتوى.

كيف يعمل ذلك على مثال موجّه التذاكر

السيناريو في المقال افتراضي، والبيانات اصطناعية. يعمل النموذج Qwen2.5-3B-Instruct موجّهًا للتذاكر: يصنّف الطلب ضمن إحدى الفئات — ثلاجة، غسالة، فرن، غسالة صحون، ميكروويف، أو «أخرى». ثم يطلق المتجر خط مكيفات Arctis، بينما لا يعرفه الموجّه، فيختار أقرب فئة مألوفة.

بعد ذلك تأتي سلسلة من خمس خطوات على عنقود واحد، تسميها AWS «دولاب الزخم» لتحسين النموذج:

  1. تسجيل جميع الطلبات والردود في S3.
  2. تحليل السجلات باستعلامات SQL في Athena، وهي خدمة تقرأ الملفات مباشرة من S3.
  3. وسم السجلات بسياسة SQL.
  4. إعادة تدريب النموذج على وحدة GPU ثانية عبر training operator.
  5. نشر الإصدار الجديد بجانب القديم مع إبقاء التسجيل مفعّلًا.

في العرض التجريبي تُمرَّر 900 تذكرة عبر الموجّه خلال 15 دقيقة. وتتألف مجموعة التقييم من 280 مثالًا موسومًا. وتُقاس الدقة قبل إعادة التدريب وبعدها على بيانات لم يكن من الممكن أن تكون موجودة عند النشر الأول.

يحتاج العرض التجريبي إلى وحدتي GPU: واحدة تخدم النموذج والأخرى تعيد تدريبه. استخدم المؤلفون ml.g6e.8xlarge وml.g6e.xlarge، وعلى كل منهما وحدة NVIDIA L40S واحدة بسعة 48 غيغابايت. يحتفظ pod الخدمة بوحدة GPU الخاصة به طوال عمر endpoint. لذلك على وحدة GPU واحدة سيعلق pod التدريب في حالة Pending.

ما يجب الانتباه إليه عند التطبيق

  • يجب إرسال الطلبات إلى المنفذ 8081 حيث يوجد وكيل التسجيل. أما النموذج نفسه فيستمع إلى المنفذ 8000، والاستدعاءات المباشرة إليه لن تصل إلى S3.
  • افتراضيًا يُسجَّل 100% من الطلبات. يمكن خفض ذلك عبر أخذ العينات، وتحديد حجم الحمولة payload، وتعيين مفتاح تشفير KMS. والمخزن المؤقت الافتراضي بحجم 10 سجلات يُفرَّغ مرة كل 60 ثانية.
  • إذا كان endpoint سليمًا ولا توجد ملفات في S3، فتحقق أولًا من دور IAM الخاص ببرنامج تشغيل Mountpoint-S3 CSI. فهو الذي يكتب الملفات، وليس حساب الخدمة الخاص بالـ pod.
  • تُحفظ أجسام الطلبات والردود بصيغة SageMaker data capture وبترميز base64. يجب فك ترميزها قبل التحليل.

الخصوصية والقيود

يحفظ المستوى الثالث النصوص كاملة، وفيها أسماء وعناوين وأرقام طلبات. قبل تحويل السجلات إلى بيانات تدريب، احمِها. تقترح AWS أخذ العينات والتشفير عبر KMS (خدمة إدارة المفاتيح) وقواعد دورة حياة S3 وإخفاء البيانات الشخصية، مثلًا عبر Amazon Comprehend.

المثال نفسه مبني على بيانات اصطناعية ونموذج صغير بحجم 3 مليارات معامل. وعلى الحركة الحية والنماذج الكبيرة ستتوقف النتيجة على جودة الوسم وحجم البيانات.

الخلاصة العملية للفرق التي تعمل على HyperPod: من الأفضل تفعيل تسجيل الحركة مسبقًا. فحين يأتي المستخدمون بشيء جديد، سيكون لديكم فورًا دليل على المشكلة ومادة لإعادة التدريب.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ثلاثة مستويات للتسجيل: ما الذي يُحفظ بالضبط؟

تُفعَّل الميزة عبر كتلة dataCapture في الإعدادات. يمكن التسجيل في ثلاث نقاط مستقلة على مسار الطلب، ويمكن الجمع بين أي منها. المستوى الأول هو endpoint في SageMaker، أي نقطة دخول النموذج. هنا تُحفظ الطلبات والردود كاملة عبر الآلية المدمجة في SageMaker. وهو مخصص للامتثال والتدقيق وخدمة Model Monitor. المستوى الثاني هو موزّع الأحمال ALB. يكتب هذا المستوى حقول سجلات الوصول access logs فقط: سطر الطلب ورموز الاستجابة والتوقيتات وعنوان IP للعميل وuser agent. لا توجد فيه نصوص المحادثات.

ما أبرز التفاصيل حول كيف يعمل ذلك على مثال موجّه التذاكر؟

السيناريو في المقال افتراضي، والبيانات اصطناعية. يعمل النموذج Qwen2.5-3B-Instruct موجّهًا للتذاكر: يصنّف الطلب ضمن إحدى الفئات — ثلاجة، غسالة، فرن، غسالة صحون، ميكروويف، أو «أخرى». ثم يطلق المتجر خط مكيفات Arctis، بينما لا يعرفه الموجّه، فيختار أقرب فئة مألوفة. بعد ذلك تأتي سلسلة من خمس خطوات على عنقود واحد، تسميها AWS «دولاب الزخم» لتحسين النموذج: تسجيل جميع الطلبات والردود في S3. تحليل السجلات باستعلامات SQL في Athena، وهي خدمة تقرأ الملفات مباشرة من S3. وسم السجلات بسياسة SQL.

ما أبرز التفاصيل حول ما يجب الانتباه إليه عند التطبيق؟

يجب إرسال الطلبات إلى المنفذ 8081 حيث يوجد وكيل التسجيل. أما النموذج نفسه فيستمع إلى المنفذ 8000، والاستدعاءات المباشرة إليه لن تصل إلى S3. افتراضيًا يُسجَّل 100% من الطلبات. يمكن خفض ذلك عبر أخذ العينات، وتحديد حجم الحمولة payload، وتعيين مفتاح تشفير KMS. والمخزن المؤقت الافتراضي بحجم 10 سجلات يُفرَّغ مرة كل 60 ثانية. إذا كان endpoint سليمًا ولا توجد ملفات في S3، فتحقق أولًا من دور IAM الخاص ببرنامج تشغيل Mountpoint-S3 CSI. فهو الذي يكتب الملفات، وليس حساب الخدمة الخاص بالـ pod.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…