ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارAWS Machine Learning Blog→ المصدر

كيف تتجنّب التخمين في التوسّع التلقائي لتركيب الكلام: AWS تقيس سقف 50 طلبًا لكل GPU

كثيرًا ما تُختار عتبة التوسّع التلقائي لخدمة تركيب الكلام (TTS) بالتقدير، ولا يظهر الخطأ إلا في ذروة الحمل: يطول الطابور ويتأخر الرد أكثر من 3 ثوانٍ الموعودة. قاست AWS على نموذج Kokoro-82M رقمين: سقف قدره 50 طلبًا متزامنًا لكل نسخة GPU، ونحو 320 ثانية حتى تبدأ النسخة الجديدة باستقبال الطلبات. وعند 60 طلبًا بلغ زمن وصول أول مقطع صوتي (p95) نحو 3375 مللي ثانية، أي أنه تجاوز الحد. لذلك من الأفضل أن تُحسب العتبات استنادًا إلى القياسات.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
كيف تتجنّب التخمين في التوسّع التلقائي لتركيب الكلام: AWS تقيس سقف 50 طلبًا لكل GPU
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
الحد المتفق عليه (SLO)أول صوت خلال 3000 مللي ثانية لدى 95% من الطلبات؛ وعند 50 طلبًا بلغ الزمن 2806 مللي ثانية
حقيقة رئيسية #2أطول مرحلة (181 ثانية، أي 56,5% من الوقت) هي الفترة التي لا تظهر فيها النسخة الجديدة إلا في السجلات
الأرقام مأخوذة على ml.g5.xlargeولنموذج آخر يجب إعادة القياس

تخيّل أن ذروة من المكالمات تنهال على خدمة تركيب الكلام (TTS، text-to-speech) لديك. تصطفّ الطلبات في طابور، ويصل أول صوت متأخرًا عمّا وعدت به العملاء، أي يتجاوز SLO (الحد المتفق عليه للتأخير). كان التوسّع التلقائي، الذي يُفترض أن يضيف الخوادم، مضبوطًا على عتبة اختيرت بالتقدير. وهذا التخمين يخطئ بصمت: العتبة الحذرة أكثر من اللازم تعني نسخ GPU عاطلة تُحتسب في كل فاتورة، والعتبة الجريئة أكثر من اللازم تعني خطرًا لا يراه أحد حتى أول ذروة حقيقية. يقترح فريق AWS في مدونة Machine Learning استبدال التخمين بقياسين على نقطة نهاية حيّة.

ما الرقمان اللذان ينبغي قياسهما

يعتمد المثال على نموذج Kokoro-82M (82 مليون معامل)، الذي يُنشر في حاوية خاصة على نقطة نهاية real-time في Amazon SageMaker AI عبر AWS CDK. الرقم الأول يسمى Q_max: وهو أكبر عدد من الطلبات التي تقف في الطابور وتُنفَّذ في آن واحد على نسخة واحدة، بحيث يظل 95% من الطلبات يحصل على أول بايت صوتي ضمن SLO البالغ 3000 مللي ثانية. والرقم الثاني T_total: كم من الوقت الفعلي يمر من طلب سعة جديدة حتى تبدأ بخدمة الطلبات دون أعطال. أما عتبات التوسّع صعودًا ونزولًا وفترتا الانتظار (cooldown) فتُشتق من هذين الرقمين بالحساب.

بحثوا عن Q_max بسلّم أحمال: يثبّت العميل N طلبًا متزامنًا بالضبط، ثم يرفع N على درجات حتى ينكسر SLO. نتائج p95 (زمن الوصول إلى أول بايت صوتي): طلب واحد — 65,4 مللي ثانية، 10 طلبات — 568,5 مللي ثانية، 30 — 1689,8 مللي ثانية، 50 — 2805,7 مللي ثانية. وعند 60 طلبًا بلغ الزمن 3374,8 مللي ثانية، أي تجاوز الحد. إذن Q_max = 50، وهو سقف حقيقي وليس تقديرًا أدنى: فالدرجة التي تليه كسرت SLO فعلًا. الاختبار مغلق الحلقة، أي أن عدد الطلبات لا ينخفض حين يتباطأ الخادم، ولذلك لا يختبئ الطابور. يستغرق التشغيل الحي نحو 36 دقيقة، أما وضع --dry-run فيعرض الجدول الزمني دون أي اتصال بـ AWS.

لماذا لا تصلح المقاييس القياسية

معظم أدلة التوسّع التلقائي موجّهة إلى الطلبات المتزامنة القصيرة أو إلى LLM، حيث المقياس المناسب هو عدد الرموز (tokens) في الثانية. أما Kokoro-82M فليس لديه حلقة توليد رموز: النموذج ينتج العبارة في تمريرة واحدة، والطلب يُبقي الاتصال مفتوحًا عدة ثوانٍ. لذلك يجري التوسّع بحسب ConcurrentRequestsPerModel، وهو مقياس تنشره SageMaker نفسها. وبهذا يُستبعد السيناريو الذي يكون فيه مقياس مخصص مضبوطًا على الورق بينما لا تصل أي بيانات إليه.

وثمة تفصيل: تعطي SageMaker القيمة العظمى في نافذة مدتها 10 ثوانٍ، بينما يرى عميل الاختبار المعياري متوسط عدد الطلبات قيد التنفيذ. تقيس الأداة الكميتين عند كل درجة وتحسب معامل التحويل. وقد جاء في هذا التشغيل مساويًا 1,0 تمامًا، لذا تتطابق العتبات دون أي تصحيح.

كم ينمو الأسطول فعليًا

قيس T_total بإطلاق scale-out قسرًا متجاوزين السياسة، مع تسجيل زمن كل مرحلة. أطول مرحلة، 180,8 ثانية (56,5% من الزمن الكلي)، هي الفترة من ضبط السعة المطلوبة حتى ظهور النسخة في السجلات. ثم تستغرق استعادة حركة الطلبات بعد التشغيل 47,4 ثانية (14,8%)، وطلب السعة نفسه 30 ثانية (9,4%)، والانتقال إلى in_service 20,7 ثانية (6,5%). أما تحميل الأوزان فيستغرق 6,5 ثانية، والإحماء ثانية واحدة. ويبلغ مجموع زمن التوسّع نحو 320 ثانية. والخلاصة العملية: لا ينبغي تسريع التشغيل بتحسين النموذج، بل بما يحدث قبل إطلاق الحاوية، مثل تخزين الأوزان في ذاكرة S3 المؤقتة أو الاحتفاظ بمخزون دافئ.

قبل القياس تُجري الأداة فحص drift: تقارن السياسات والتنبيهات المنشورة بملف الإعداد، وإلا فقد تغيّر سياسة منسية من نموذج سابق السعة بنفسها في منتصف الاختبار. وإذا قوطع التشغيل فقد «يعلق» التوسّع التلقائي عند نسخة واحدة، ويعيد الأمر thaw السياسة إلى عملها. ولا ينشئ مكدّس CDK موارد التوسّع التلقائي إلا عند وجود خطة قياس حقيقية، فلا تصل إلى بيئة الإنتاج إعدادات غير مقيسة بصمت. ويرتبط تنبيه منفصل بزمن المعالجة دون طابور: وهو في القياسات 61,3 مللي ثانية في المتوسط، وp95 — 66,1 مللي ثانية.

القيود

الأرقام مأخوذة على نموذج واحد ونسخة ml.g5.xlarge؛ ولصوتك وصورتك وعتادك سيتعيّن قياس Q_max وT_total من جديد. ويحتاج القياس إلى هامش حصة (quota) لنسخة إضافية واحدة على الأقل. وتستخدم الحاوية في المثال إصدارًا قديمًا من PyTorch فيه ثغرة معروفة (PYSEC-2026-2286، أُصلحت في torch 2.10.0)، لذلك حدّثه قبل أي استخدام يتجاوز التجربة. وتجد الشيفرة وسلسلة الأوامر في مستودع aws-samples. ويصلح هذا النهج أيضًا لنماذج أخرى ذات طلبات طويلة وبلا حلقة رموز.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما الرقمان اللذان ينبغي قياسهما؟

يعتمد المثال على نموذج Kokoro-82M (82 مليون معامل)، الذي يُنشر في حاوية خاصة على نقطة نهاية real-time في Amazon SageMaker AI عبر AWS CDK. الرقم الأول يسمى Q_max: وهو أكبر عدد من الطلبات التي تقف في الطابور وتُنفَّذ في آن واحد على نسخة واحدة، بحيث يظل 95% من الطلبات يحصل على أول بايت صوتي ضمن SLO البالغ 3000 مللي ثانية. والرقم الثاني T_total: كم من الوقت الفعلي يمر من طلب سعة جديدة حتى تبدأ بخدمة الطلبات دون أعطال. أما عتبات التوسّع صعودًا ونزولًا وفترتا الانتظار (cooldown) فتُشتق من هذين الرقمين بالحساب.

ما أبرز التفاصيل حول لماذا لا تصلح المقاييس القياسية؟

معظم أدلة التوسّع التلقائي موجّهة إلى الطلبات المتزامنة القصيرة أو إلى LLM، حيث المقياس المناسب هو عدد الرموز (tokens) في الثانية. أما Kokoro-82M فليس لديه حلقة توليد رموز: النموذج ينتج العبارة في تمريرة واحدة، والطلب يُبقي الاتصال مفتوحًا عدة ثوانٍ. لذلك يجري التوسّع بحسب ConcurrentRequestsPerModel، وهو مقياس تنشره SageMaker نفسها. وبهذا يُستبعد السيناريو الذي يكون فيه مقياس مخصص مضبوطًا على الورق بينما لا تصل أي بيانات إليه.

ما أبرز التفاصيل حول كم ينمو الأسطول فعليًا؟

قيس T_total بإطلاق scale-out قسرًا متجاوزين السياسة، مع تسجيل زمن كل مرحلة. أطول مرحلة، 180,8 ثانية (56,5% من الزمن الكلي)، هي الفترة من ضبط السعة المطلوبة حتى ظهور النسخة في السجلات. ثم تستغرق استعادة حركة الطلبات بعد التشغيل 47,4 ثانية (14,8%)، وطلب السعة نفسه 30 ثانية (9,4%)، والانتقال إلى in_service 20,7 ثانية (6,5%). أما تحميل الأوزان فيستغرق 6,5 ثانية، والإحماء ثانية واحدة. ويبلغ مجموع زمن التوسّع نحو 320 ثانية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…