تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارAWS Machine Learning Blog→ المصدر

AWS تضيف إلى SageMaker تصنيفاً لأكثر من 70 نموذجاً: الجودة والسرعة والسعر في جدول واحد

كان اختيار النموذج في SageMaker JumpStart يتطلب قراءة البطاقات التعريفية ومطابقة نتائج اختبارات أُجريت في ظروف مختلفة. الآن أجرت AWS بنفسها ثلاثة اختبارات استدلال (BBH وGPQA Diamond وMMLU-Pro) على أكثر من 70 نموذجاً، وقاست سرعة الاستجابة وسعر الـ instance. في مثال لبوت مكتب مساعدة (help-desk)، يقارب النموذج المتوسط النموذج الكبير في الجودة، لكنه يكلف $5,75 في الساعة بدلاً من $37,66. هذا الجدول أساس لقائمة مختصرة، أما القرار النهائي فتحققوا منه على بياناتكم أنتم.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
AWS تضيف إلى SageMaker تصنيفاً لأكثر من 70 نموذجاً: الجودة والسرعة والسعر في جدول واحد
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
حقيقة رئيسية #1تظهر درجات BBH وGPQA Diamond وMMLU-Pro منفصلة، ولا توجد درجة إجمالية
حقيقة رئيسية #2السعر يخص فقط instance من SageMaker بنظام on-demand، دون حركة البيانات والتخزين والخصومات
حقيقة رئيسية #3زمن الوصول إلى أول توكن مهم للدردشة، وعدد التوكنات في الثانية مهم للمعالجة الدفعية

تخيّلوا أنكم تبنون بوتاً داخلياً لخدمة الدعم، وتفتحون كتالوج SageMaker JumpStart الذي يضم مئات النماذج المفتوحة. بأي نموذج تبدؤون؟ كان عليكم سابقاً قراءة البطاقات واحدة تلو الأخرى، والبحث عن نتائج اختبارات أجرتها فرق مختلفة بمطالبات (prompts) وإعدادات وعتاد مختلف، ثم تقدير كلفة النموذج في حالتكم بالتخمين. أنهت Amazon هذه المشكلة: ظهر في SageMaker Studio لوح Model Leaderboard، وهو جدول يقارن أكثر من 70 نموذجاً (من Meta وGoogle وQwen وIBM وArcee وغيرها) من حيث الجودة والسرعة والسعر. حصلت AWS على كل الأرقام بنفسها وبمنهجية واحدة، ولذلك يمكن وضعها جنباً إلى جنب. وبالنسبة للمطوّر، هذا توفير للوقت في المرحلة الأولى من الاختيار: تتشكل قائمة المرشحين المختصرة في دقائق، لا في أمسية كاملة من المطابقة اليدوية.

ماذا يعرض الجدول

الـ Leaderboard تبويب جديد في صفحة النماذج الأساسية في JumpStart، بجوار «Categories» و«All models». البحث والمرشحات كما كانت، ويُفتح التبويب مباشرة على تصنيف النماذج اللغوية الكبيرة.

البيانات من نوعين. الأول هو الجودة في ثلاثة اختبارات معيارية عامة، أي مجموعات قياسية من الأسئلة ذات الإجابات المعروفة. يختبر BIG-Bench Hard الاستدلال متعدد الخطوات: الاستنتاجات المنطقية وتتبع الأشياء والحساب. أما GPQA Diamond فأسئلته علمية بمستوى الماجستير يصعب العثور على إجاباتها بالبحث. ويضم MMLU-Pro اختبارات صعبة بخيارات متعددة في مجموعة واسعة من المجالات: العلوم والقانون والهندسة. في الاختبارات الثلاثة، كلما ارتفعت الدرجة كان ذلك أفضل. ولا تُدمج الدرجات في رقم واحد، لذا يمكنكم النظر إلى الاختبار الأقرب إلى مهمتكم.

النوع الثاني هو السرعة والتكلفة. ترسل AWS حملاً اختبارياً قياسياً إلى نقطة نهاية (endpoint) منشورة بكل تكوين من تكوينات JumpStart، وتقيس زمن الوصول إلى أول توكن (المدة التي ينتظرها المستخدم قبل بدء الإجابة، وهو مهم للدردشة)، وسرعة التوليد بعدد التوكنات في الثانية (مهمة للمعالجة الدفعية)، وسعر الـ instance في الساعة.

ملف الحمل وهدف التحسين

فوق الجدول قائمتان. يغيّر ملف use case (الافتراضي Max Context) أرقام السرعة والسعر فقط، أما درجات الجودة فتبقى كما هي. ويحدد هدف التحسين تكوين النشر:

  • Balanced — أقل سعر تقديري لكل توكن؛
  • Cost optimized — أرخص instance في الساعة، لكن قد يكون زمن الوصول أعلى؛
  • Latency optimized — أقل زمن للوصول إلى أول توكن؛
  • Throughput optimized — أقصى قدرة إنتاجية، وربما مع speculative decoding.

لبوت دردشة موجّه للعملاء توصي AWS بالبدء بـ Latency optimized، وفي معالجة المستندات ليلاً يناسب Throughput أو Cost optimized. الأعمدة مظللة بالأزرق: كلما كان اللون أغمق كانت النتيجة أفضل. يمكن فرز الجدول وإخفاء الأعمدة غير الضرورية، وللصفحة رابط خاص يمكن مشاركته مع الفريق.

مثال: بوت لمكتب المساعدة (help-desk)

تورد AWS مثالاً افتراضياً: المطلوب نموذج برخصة تجارية وميزانية يمكن التنبؤ بها. بعد التصفية واختيار ملف الدردشة مع Latency optimized، تظهر الصورة التالية. النموذج A (الكبير): BBH 95,9، وMMLU-Pro 87,2، وأول توكن بعد 2,33 ثانية، و37 توكن/ث، و$37,66 في الساعة. النموذج B (المتوسط): 94,2 و84,9، و0,98 ثانية، و44 توكن/ث، و$5,75 في الساعة. النموذج C (الصغير): 77,4 و66,1، و0,27 ثانية، و61 توكن/ث، و$2,61 في الساعة. هذا مثال توضيحي وليس بيانات نماذج حقيقية.

الخلاصة: لا يقل النموذج B عن الكبير في الجودة إلا بفارق طفيف، ويجيب أسرع، وتكلفته أقل بنحو 6,5 مرة. وفي حالة help-desk، حيث الاستدلال والإجابة السريعة أهم من انتزاع آخر النقاط في المعرفة العامة، هذه أفضل نقطة بداية. أما النموذج C فيستحق الاحتفاظ به كخيار احتياطي رخيص.

القيود

تحتسب التكلفة سعر instance من SageMaker بتعرفة on-demand فقط. ولا تشمل نقل البيانات والتخزين وinference components والخصومات مثل Reserved Instances وSavings Plans، لذا ستختلف الفاتورة الفعلية.

تقيس الاختبارات المعيارية القدرات العامة، لا منتجكم. يجب تجربة أفضل مرشحين أو ثلاثة على بياناتكم ومطالباتكم. والأفضل اعتبار الدرجات المتقاربة تعادلاً، فقد يقع الفارق ضمن التباين المعتاد بين عمليات التشغيل. تُقيَّم النماذج الاستدلالية والعادية بمعاملات توليد مختلفة، ويُحسب متوسط GPQA Diamond للنماذج الاستدلالية على 10 جولات، ولذلك تبقى المقارنة بين هذين النوعين تقريبية. وتخص المقاييس التكوين الذي أُجري عليه القياس، فيجدر نشر النموذج بالملف والهدف نفسيهما.

التغطية غير مكتملة بعد: ليست لكل نموذج في JumpStart درجات، وغياب الدرجة لا يعني أن النموذج ضعيف، بل أنه لم يُختبر ببساطة. وفي البداية لا يضم الجدول سوى نماذج LLM.

ما التالي

تخطط AWS لدعم مراكز JumpStart الخاصة (private hubs)، كي ترى المؤسسات تصنيف النماذج المعتمدة لديها فقط، وكذلك لوحات تصنيف منفصلة لاكتشاف الأجسام (object detection) وتضمينات النصوص (text embeddings) وفهم الصور.

والترتيب العملي كالتالي: صفّوا أولاً بحسب المتطلبات الصارمة (الرخصة والمزوّد وأنماط البيانات modalities)، ثم افرزوا بحسب الاختبار المطلوب، واختاروا الملف وهدف التحسين، ثم انشروا نموذجين أو ثلاثة وجرّبوها على طلبات حقيقية.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ماذا يعرض الجدول؟

الـ Leaderboard تبويب جديد في صفحة النماذج الأساسية في JumpStart، بجوار «Categories» و«All models». البحث والمرشحات كما كانت، ويُفتح التبويب مباشرة على تصنيف النماذج اللغوية الكبيرة. البيانات من نوعين. الأول هو الجودة في ثلاثة اختبارات معيارية عامة، أي مجموعات قياسية من الأسئلة ذات الإجابات المعروفة. يختبر BIG-Bench Hard الاستدلال متعدد الخطوات: الاستنتاجات المنطقية وتتبع الأشياء والحساب. أما GPQA Diamond فأسئلته علمية بمستوى الماجستير يصعب العثور على إجاباتها بالبحث.

ما أبرز التفاصيل حول ملف الحمل وهدف التحسين؟

فوق الجدول قائمتان. يغيّر ملف use case (الافتراضي Max Context) أرقام السرعة والسعر فقط، أما درجات الجودة فتبقى كما هي. ويحدد هدف التحسين تكوين النشر: Balanced — أقل سعر تقديري لكل توكن؛ Cost optimized — أرخص instance في الساعة، لكن قد يكون زمن الوصول أعلى؛ Latency optimized — أقل زمن للوصول إلى أول توكن؛ Throughput optimized — أقصى قدرة إنتاجية، وربما مع speculative decoding. لبوت دردشة موجّه للعملاء توصي AWS بالبدء بـ Latency optimized، وفي معالجة المستندات ليلاً يناسب Throughput أو Cost optimized.

ما أبرز التفاصيل حول مثال: بوت لمكتب المساعدة (help-desk)؟

تورد AWS مثالاً افتراضياً: المطلوب نموذج برخصة تجارية وميزانية يمكن التنبؤ بها. بعد التصفية واختيار ملف الدردشة مع Latency optimized، تظهر الصورة التالية. النموذج A (الكبير): BBH 95,9، وMMLU-Pro 87,2، وأول توكن بعد 2,33 ثانية، و37 توكن/ث، و$37,66 في الساعة. النموذج B (المتوسط): 94,2 و84,9، و0,98 ثانية، و44 توكن/ث، و$5,75 في الساعة. النموذج C (الصغير): 77,4 و66,1، و0,27 ثانية، و61 توكن/ث، و$2,61 في الساعة. هذا مثال توضيحي وليس بيانات نماذج حقيقية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…