كيف تتجنّب التخمين في التوسّع التلقائي لتركيب الكلام: AWS تقيس سقف 50 طلبًا لكل GPU
كثيرًا ما تُختار عتبة التوسّع التلقائي لخدمة تركيب الكلام (TTS) بالتقدير، ولا يظهر الخطأ إلا في ذروة الحمل: يطول الطابور ويتأخر الرد أكثر من 3 ثوانٍ الموعودة. قاست AWS على نموذج Kokoro-82M رقمين: سقف قدره 50 طلبًا متزامنًا لكل نسخة GPU، ونحو 320 ثانية حتى تبدأ النسخة الجديدة باستقبال الطلبات. وعند 60 طلبًا بلغ زمن وصول أول مقطع صوتي (p95) نحو 3375 مللي ثانية، أي أنه تجاوز الحد. لذلك من الأفضل أن تُحسب العتبات استنادًا إلى القياسات.
معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
تخيّل أن ذروة من المكالمات تنهال على خدمة تركيب الكلام (TTS، text-to-speech) لديك. تصطفّ الطلبات في طابور، ويصل أول صوت متأخرًا عمّا وعدت به العملاء، أي يتجاوز SLO (الحد المتفق عليه للتأخير). كان التوسّع التلقائي، الذي يُفترض أن يضيف الخوادم، مضبوطًا على عتبة اختيرت بالتقدير. وهذا التخمين يخطئ بصمت: العتبة الحذرة أكثر من اللازم تعني نسخ GPU عاطلة تُحتسب في كل فاتورة، والعتبة الجريئة أكثر من اللازم تعني خطرًا لا يراه أحد حتى أول ذروة حقيقية. يقترح فريق AWS في مدونة Machine Learning استبدال التخمين بقياسين على نقطة نهاية حيّة.
ما الرقمان اللذان ينبغي قياسهما
يعتمد المثال على نموذج Kokoro-82M (82 مليون معامل)، الذي يُنشر في حاوية خاصة على نقطة نهاية real-time في Amazon SageMaker AI عبر AWS CDK. الرقم الأول يسمى Q_max: وهو أكبر عدد من الطلبات التي تقف في الطابور وتُنفَّذ في آن واحد على نسخة واحدة، بحيث يظل 95% من الطلبات يحصل على أول بايت صوتي ضمن SLO البالغ 3000 مللي ثانية. والرقم الثاني T_total: كم من الوقت الفعلي يمر من طلب سعة جديدة حتى تبدأ بخدمة الطلبات دون أعطال. أما عتبات التوسّع صعودًا ونزولًا وفترتا الانتظار (cooldown) فتُشتق من هذين الرقمين بالحساب.
بحثوا عن Q_max بسلّم أحمال: يثبّت العميل N طلبًا متزامنًا بالضبط، ثم يرفع N على درجات حتى ينكسر SLO. نتائج p95 (زمن الوصول إلى أول بايت صوتي): طلب واحد — 65,4 مللي ثانية، 10 طلبات — 568,5 مللي ثانية، 30 — 1689,8 مللي ثانية، 50 — 2805,7 مللي ثانية. وعند 60 طلبًا بلغ الزمن 3374,8 مللي ثانية، أي تجاوز الحد. إذن Q_max = 50، وهو سقف حقيقي وليس تقديرًا أدنى: فالدرجة التي تليه كسرت SLO فعلًا. الاختبار مغلق الحلقة، أي أن عدد الطلبات لا ينخفض حين يتباطأ الخادم، ولذلك لا يختبئ الطابور. يستغرق التشغيل الحي نحو 36 دقيقة، أما وضع --dry-run فيعرض الجدول الزمني دون أي اتصال بـ AWS.
لماذا لا تصلح المقاييس القياسية
معظم أدلة التوسّع التلقائي موجّهة إلى الطلبات المتزامنة القصيرة أو إلى LLM، حيث المقياس المناسب هو عدد الرموز (tokens) في الثانية. أما Kokoro-82M فليس لديه حلقة توليد رموز: النموذج ينتج العبارة في تمريرة واحدة، والطلب يُبقي الاتصال مفتوحًا عدة ثوانٍ. لذلك يجري التوسّع بحسب ConcurrentRequestsPerModel، وهو مقياس تنشره SageMaker نفسها. وبهذا يُستبعد السيناريو الذي يكون فيه مقياس مخصص مضبوطًا على الورق بينما لا تصل أي بيانات إليه.
وثمة تفصيل: تعطي SageMaker القيمة العظمى في نافذة مدتها 10 ثوانٍ، بينما يرى عميل الاختبار المعياري متوسط عدد الطلبات قيد التنفيذ. تقيس الأداة الكميتين عند كل درجة وتحسب معامل التحويل. وقد جاء في هذا التشغيل مساويًا 1,0 تمامًا، لذا تتطابق العتبات دون أي تصحيح.
كم ينمو الأسطول فعليًا
قيس T_total بإطلاق scale-out قسرًا متجاوزين السياسة، مع تسجيل زمن كل مرحلة. أطول مرحلة، 180,8 ثانية (56,5% من الزمن الكلي)، هي الفترة من ضبط السعة المطلوبة حتى ظهور النسخة في السجلات. ثم تستغرق استعادة حركة الطلبات بعد التشغيل 47,4 ثانية (14,8%)، وطلب السعة نفسه 30 ثانية (9,4%)، والانتقال إلى in_service 20,7 ثانية (6,5%). أما تحميل الأوزان فيستغرق 6,5 ثانية، والإحماء ثانية واحدة. ويبلغ مجموع زمن التوسّع نحو 320 ثانية. والخلاصة العملية: لا ينبغي تسريع التشغيل بتحسين النموذج، بل بما يحدث قبل إطلاق الحاوية، مثل تخزين الأوزان في ذاكرة S3 المؤقتة أو الاحتفاظ بمخزون دافئ.
قبل القياس تُجري الأداة فحص drift: تقارن السياسات والتنبيهات المنشورة بملف الإعداد، وإلا فقد تغيّر سياسة منسية من نموذج سابق السعة بنفسها في منتصف الاختبار. وإذا قوطع التشغيل فقد «يعلق» التوسّع التلقائي عند نسخة واحدة، ويعيد الأمر thaw السياسة إلى عملها. ولا ينشئ مكدّس CDK موارد التوسّع التلقائي إلا عند وجود خطة قياس حقيقية، فلا تصل إلى بيئة الإنتاج إعدادات غير مقيسة بصمت. ويرتبط تنبيه منفصل بزمن المعالجة دون طابور: وهو في القياسات 61,3 مللي ثانية في المتوسط، وp95 — 66,1 مللي ثانية.
القيود
الأرقام مأخوذة على نموذج واحد ونسخة ml.g5.xlarge؛ ولصوتك وصورتك وعتادك سيتعيّن قياس Q_max وT_total من جديد. ويحتاج القياس إلى هامش حصة (quota) لنسخة إضافية واحدة على الأقل. وتستخدم الحاوية في المثال إصدارًا قديمًا من PyTorch فيه ثغرة معروفة (PYSEC-2026-2286، أُصلحت في torch 2.10.0)، لذلك حدّثه قبل أي استخدام يتجاوز التجربة. وتجد الشيفرة وسلسلة الأوامر في مستودع aws-samples. ويصلح هذا النهج أيضًا لنماذج أخرى ذات طلبات طويلة وبلا حلقة رموز.
- 21 نوفمبر 2026AG-UI 1.0 يمنح وكلاء الذكاء الاصطناعي لغة موحدة للتواصل مع التطبيق: 31 نوعًا من الأحداث
- 21 نوفمبر 2026OpenAI تطلق ChatGPT Wallet: وكلاء الذكاء الاصطناعي يشترون دون أن يروا رقم البطاقة
- 21 نوفمبر 2026الولايات المتحدة أنفقت 70.7 مليون دولار على إعلانات ChatGPT في أكتوبر — بزيادة 127% عن أبريل
- 21 نوفمبر 2026ONNX Runtime يختفي من GitHub: مايكروسوفت تُخفي المستودعات بعد اختراق إحدى الحزم
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما الرقمان اللذان ينبغي قياسهما؟
يعتمد المثال على نموذج Kokoro-82M (82 مليون معامل)، الذي يُنشر في حاوية خاصة على نقطة نهاية real-time في Amazon SageMaker AI عبر AWS CDK. الرقم الأول يسمى Q_max: وهو أكبر عدد من الطلبات التي تقف في الطابور وتُنفَّذ في آن واحد على نسخة واحدة، بحيث يظل 95% من الطلبات يحصل على أول بايت صوتي ضمن SLO البالغ 3000 مللي ثانية. والرقم الثاني T_total: كم من الوقت الفعلي يمر من طلب سعة جديدة حتى تبدأ بخدمة الطلبات دون أعطال. أما عتبات التوسّع صعودًا ونزولًا وفترتا الانتظار (cooldown) فتُشتق من هذين الرقمين بالحساب.
ما أبرز التفاصيل حول لماذا لا تصلح المقاييس القياسية؟
معظم أدلة التوسّع التلقائي موجّهة إلى الطلبات المتزامنة القصيرة أو إلى LLM، حيث المقياس المناسب هو عدد الرموز (tokens) في الثانية. أما Kokoro-82M فليس لديه حلقة توليد رموز: النموذج ينتج العبارة في تمريرة واحدة، والطلب يُبقي الاتصال مفتوحًا عدة ثوانٍ. لذلك يجري التوسّع بحسب ConcurrentRequestsPerModel، وهو مقياس تنشره SageMaker نفسها. وبهذا يُستبعد السيناريو الذي يكون فيه مقياس مخصص مضبوطًا على الورق بينما لا تصل أي بيانات إليه.
ما أبرز التفاصيل حول كم ينمو الأسطول فعليًا؟
قيس T_total بإطلاق scale-out قسرًا متجاوزين السياسة، مع تسجيل زمن كل مرحلة. أطول مرحلة، 180,8 ثانية (56,5% من الزمن الكلي)، هي الفترة من ضبط السعة المطلوبة حتى ظهور النسخة في السجلات. ثم تستغرق استعادة حركة الطلبات بعد التشغيل 47,4 ثانية (14,8%)، وطلب السعة نفسه 30 ثانية (9,4%)، والانتقال إلى in_service 20,7 ثانية (6,5%). أما تحميل الأوزان فيستغرق 6,5 ثانية، والإحماء ثانية واحدة. ويبلغ مجموع زمن التوسّع نحو 320 ثانية.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.