TensorRT-LLM يتفوق على vLLM على H100: 2780 مقابل 2400 رمز/ث مع Llama 3.3 70B
قارنت Spheron بين ثلاثة محركات لتشغيل الشبكات العصبية: TensorRT-LLM وSGLang وvLLM. تخيّل دردشة يستخدمها 100 مستخدم في وقت واحد، وتخدمها بطاقة H100 واحدة بنموذج Llama 3.3 70B بصيغة FP8 المضغوطة. أنتج TensorRT-LLM 2780 رمزًا (قطعة نصية) في الثانية مقابل 2400 لدى vLLM، وحصل 95% من المستخدمين على الكلمة الأولى خلال 1,28 ث مقابل 1,45 ث. يمنحك اختيار المحرك هامشًا إضافيًا من السرعة دون شراء بطاقة جديدة، لكن اختبره على مدخلاتك (prompts) الخاصة.
معالج بواسطة الذكاء الاصطناعي من X: @spheron؛ بتحرير Hamidun News
عندما تشغّل نموذجًا كبيرًا في بيئة الإنتاج، لا تتحدد تكلفة الإجابة الواحدة ببطاقة الرسوميات وحدها، بل أيضًا بالبرنامج الذي يحمّل هذه البطاقة. يُسمّى هذا البرنامج محرك الاستدلال (inference engine): فهو يقرر كيف تُجمَّع الطلبات في دفعات، وكيف تُخزَّن الذاكرة، ومدى سرعة إخراج الكلمات الأولى من الإجابة. نشرت سحابة GPU التابعة لـ Spheron Network اختبارًا مرجعيًا قصيرًا لثلاثة محركات شائعة على البطاقة نفسها. وجاء الفارق بينها ملحوظًا.
ماذا قاسوا بالضبط
الظروف كالتالي: بطاقة Nvidia H100 واحدة، ونموذج Llama 3.3 70B بصيغة FP8 المضغوطة (تُخزَّن الأرقام في 8 بتات بدل 16، فيشغل النموذج ذاكرة أقل ويعمل أسرع)، و100 طلب متزامن. تخيّل خدمة دردشة يكتب إليها مئة شخص في اللحظة نفسها، وتجيبهم بطاقة واحدة.
قيس مؤشران. الأول هو الإنتاجية بوحدة الرموز في الثانية. الرمز (token) قطعة نصية، تقريبًا مقطع لفظي أو كلمة قصيرة. وكلما زاد عدد الرموز التي يولّدها الخادم إجمالًا، زاد عدد المستخدمين الذين تتسع لهم البطاقة الواحدة، وانخفضت تكلفة كل إجابة. والثاني هو p95 time-to-first-token: الزمن الذي ظهرت فيه الكلمة الأولى من الإجابة عند 95% من الطلبات. بعبارة أبسط: كم ينتظر أي مستخدم تقريبًا حتى «يبدأ النموذج بالكتابة». ويتوقف على هذا الرقم مدى شعورك بأن الخدمة سريعة الاستجابة.
نتائج كل محرك
جاء TensorRT-LLM (محرك Nvidia) أولًا في المؤشرين: 2780 رمزًا/ث و1280 مللي ثانية حتى الرمز الأول.
احتل SGLang المركز الثاني: 2460 رمزًا/ث و1380 مللي ثانية. ويتأخر عن المتصدر بنحو 12% في سرعة التوليد، وبـ 100 مللي ثانية في انتظار الكلمة الأولى.
أما vLLM، وهو أكثر المحركات المفتوحة انتشارًا، فسجّل 2400 رمز/ث و1450 مللي ثانية. هذا هو المركز الأخير، لكنه لا يتأخر كثيرًا عن SGLang: نحو 2,5% في الإنتاجية و70 مللي ثانية في زمن الاستجابة.
يذكر المنشور أن TensorRT-LLM يتفوق على vLLM «بنحو 13%». وإذا أعدنا الحساب نجد أن TensorRT-LLM متقدم في الإنتاجية بنحو 16%، وأن vLLM ينتظر الكلمة الأولى مدة أطول بنحو 13%. ومن المرجح أن رقم 13% يخص زمن الاستجابة تحديدًا. أما الترتيب فواحد في الحالتين: TensorRT-LLM ثم SGLang ثم vLLM.
ولتقدير الحجم: إذا قسمنا 2780 رمزًا/ث على مئة طلب، يخص كل مستخدم نحو 28 رمزًا في الثانية. وهذا يكفي للدردشة، لكنه يُظهر أن نموذج 70B على بطاقة واحدة يعمل قرب حدّه الأقصى.
ماذا نفعل بهذه الأرقام وما الذي لا ينبغي تصديقه
إذا كان لديك حمل مرتفع ثابت وأنت مستعد لإنفاق الوقت على الضبط، فقد يمنحك TensorRT-LLM نحو 16% من الإنتاجية الإضافية دون شراء عتاد. وفي أسطول كبير من البطاقات يعني هذا توفيرًا ملموسًا. لكن للسرعة ثمنًا: فمحرك Nvidia يتطلب عادةً بناءً منفصلًا ويرتبط بمنظومة الشركة المصنِّعة، بينما يسهل تشغيل vLLM وSGLang وتحديثهما. وهذه ملاحظة عامة وليست استنتاجًا من المنشور.
والآن إلى القيود. هذه تغريدة واحدة فيها ثلاثة أسطر من الأرقام، وليست تقريرًا كاملًا. فليس فيها طول الطلبات والإجابات، ولا معاملات التشغيل، ولم تُكشف إصدارات المحركات في النص المتاح. وهذا مهم: فـ vLLM وSGLang يتطوران بسرعة، والفارق البالغ 2–3% بينهما يتغير بسهولة من إصدار إلى آخر. كما أن القياسات نشرها مزوّد لتأجير GPU، ولا يمكن حاليًا تكرارها بصورة مستقلة اعتمادًا على هذا المنشور.
وهناك تحفظ آخر: فقد اختُبر إعداد واحد، هو 100 طلب متزامن على بطاقة H100 واحدة. ومع 10 طلبات أو على عدة بطاقات قد يختلف الترتيب. كذلك فإن زمنًا يتراوح بين 1,3 و1,4 ثانية حتى الكلمة الأولى لن يناسب الجميع، كالمساعدات الصوتية مثلًا.
عمليًا، تعامل مع هذه الأرقام بوصفها فرضية، وشغّل طلباتك الخاصة على المحركات الثلاثة. قارن على أطوال مدخلات (prompts) وأحمال حقيقية، وثبّت الإصدارات. فإذا بقيت أفضلية TensorRT-LLM قائمة، فالانتقال إليه يستحق العناء. وإذا لم تبقَ، فالأسهل البقاء على vLLM أو SGLang، فهما أيسر في الصيانة.
- 21 نوفمبر 2026نموذج Inkling 2 Mini المفتوح بذاكرة 16 غيغابايت يلحق بـ Qwen3.8-27B في تصنيف مستقل
- 21 نوفمبر 2026ضبط دقيق لنموذج Qwen3-0.6B على Mac mini: الإجابات الخاطئة تنخفض إلى 3 من 30 بدلًا من 9
- 21 نوفمبر 2026Thinking Machines تطلق نموذج Inkling 2 Mini المفتوح بـ 26.4 مليار معامل لأجهزة Mac بذاكرة 32 غيغابايت
- 21 نوفمبر 2026Meta تُعدّ جهاز Muse Charm بتقنيات الذكاء الاصطناعي على غرار تاماغوتشي بسعر 300 دولار مع عام من خدمة 5G من Verizon
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ماذا قاسوا بالضبط؟
الظروف كالتالي: بطاقة Nvidia H100 واحدة، ونموذج Llama 3.3 70B بصيغة FP8 المضغوطة (تُخزَّن الأرقام في 8 بتات بدل 16، فيشغل النموذج ذاكرة أقل ويعمل أسرع)، و100 طلب متزامن. تخيّل خدمة دردشة يكتب إليها مئة شخص في اللحظة نفسها، وتجيبهم بطاقة واحدة. قيس مؤشران. الأول هو الإنتاجية بوحدة الرموز في الثانية. الرمز (token) قطعة نصية، تقريبًا مقطع لفظي أو كلمة قصيرة. وكلما زاد عدد الرموز التي يولّدها الخادم إجمالًا، زاد عدد المستخدمين الذين تتسع لهم البطاقة الواحدة، وانخفضت تكلفة كل إجابة.
ما أبرز التفاصيل حول نتائج كل محرك؟
جاء TensorRT-LLM (محرك Nvidia) أولًا في المؤشرين: 2780 رمزًا/ث و1280 مللي ثانية حتى الرمز الأول. احتل SGLang المركز الثاني: 2460 رمزًا/ث و1380 مللي ثانية. ويتأخر عن المتصدر بنحو 12% في سرعة التوليد، وبـ 100 مللي ثانية في انتظار الكلمة الأولى. أما vLLM، وهو أكثر المحركات المفتوحة انتشارًا، فسجّل 2400 رمز/ث و1450 مللي ثانية. هذا هو المركز الأخير، لكنه لا يتأخر كثيرًا عن SGLang: نحو 2,5% في الإنتاجية و70 مللي ثانية في زمن الاستجابة. يذكر المنشور أن TensorRT-LLM يتفوق على vLLM «بنحو 13%».
ما أبرز التفاصيل حول ماذا نفعل بهذه الأرقام وما الذي لا ينبغي تصديقه؟
إذا كان لديك حمل مرتفع ثابت وأنت مستعد لإنفاق الوقت على الضبط، فقد يمنحك TensorRT-LLM نحو 16% من الإنتاجية الإضافية دون شراء عتاد. وفي أسطول كبير من البطاقات يعني هذا توفيرًا ملموسًا. لكن للسرعة ثمنًا: فمحرك Nvidia يتطلب عادةً بناءً منفصلًا ويرتبط بمنظومة الشركة المصنِّعة، بينما يسهل تشغيل vLLM وSGLang وتحديثهما. وهذه ملاحظة عامة وليست استنتاجًا من المنشور. والآن إلى القيود. هذه تغريدة واحدة فيها ثلاثة أسطر من الأرقام، وليست تقريرًا كاملًا.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.