بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارورقة بحثية · للتجربةTogether AI Blog→ المصدر

Together AI تتفوق على TensorRT-LLM بنسبة 31% في اختبارات أداء وكلاء البرمجة

نشرت Together AI أولى اختبارات الأداء الواقعية لأحمال وكلاء البرمجة في بيئات الإنتاج. وتفوّق Together Inference Engine على TensorRT-LLM بنسبة 31% في عدد الرموز في الثانية، وضاعف سرعة إنتاج الرمز الأول عند ارتفاع التزامن. والتكلفة أقل بنسبة 76% من Claude Opus 4. وحاكى الاختبار سيناريو واقعيًا: طلبات يتراوح حجمها بين 45 و200 ألف رمز تصل في وقت واحد من عشرات المطورين.

معالج بواسطة الذكاء الاصطناعي من Together AI Blog؛ بتحرير Hamidun News
Together AI تتفوق على TensorRT-LLM بنسبة 31% في اختبارات أداء وكلاء البرمجة
المصدر: Together AI Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليTogether AI Blog ↗
رئيس التحرير
حقيقة رئيسية #1نمط يغلب عليه prefill. يقع الحمل هنا أساسًا على مرحلة prefill لا على decode. أما المحركات المصمَّمة للتوليد الطويل فلا تحصل على ميزتها المعتادة.
حقيقة رئيسية #2+31% في عدد الرموز في الثانية (TPS) مقارنة بأقرب منافس مفتوح المصدر
حقيقة رئيسية #3زمن TTFT أفضل بمرتين عند تشبّع حركة الطلبات

نشرت Together AI أولى اختبارات الأداء (benchmarks) لعمليات الاستدلال (inference) الموجّهة لبيئات الإنتاج الخاصة بوكلاء البرمجة، وتضع نتائجها معظم الاختبارات المعتادة في الصناعة موضع تساؤل.

لماذا لا تفيد الاختبارات القياسية

يقيس اختبار الاستدلال التقليدي مستخدمًا واحدًا على خادم مخصص. تبدو الأرقام مبهرة، لكنها لا تقول شيئًا عن ظروف العمل الفعلية. ففي بيئة الإنتاج، تتنافس عشرات الطلبات بل مئات منها في آن واحد على ذاكرة KV-cache نفسها وعلى عرض نطاق الذاكرة ودورات GPU. وكلما زادت حركة الطلبات، ارتفع زمن الوصول إلى أول رمز (TTFT). وعند نقطة ما يفقد النظام جدواه قبل أن يتعطل رسميًا. وتبلغ المحركات المختلفة هذه النقطة عند مستويات حمل متباينة جدًا، وهذا بالضبط ما ينبغي قياسه.

صمّمت Together AI اختبارها لهذا السيناريو تحديدًا: حمل وكلاء البرمجة، وسياق طويل، وتزامن مرتفع، وعدم تسامح مطلقًا مع تدهور زمن الاستجابة.

ما الذي يجعل وكلاء البرمجة حملًا خاصًا

تحمل طلبات وكلاء البرمجة (coding agents) سياقًا ضخمًا: الملف الجاري تحريره، والشيفرة المحيطة به، وتاريخ الحوار، ومقتطفات من البحث المتجهي. وتراوح طول الرموز المُدخلة بين 45 و200 ألف رمز، في محاكاة لنمو جلسة التطوير الحقيقية. وبلغ متوسط طول الاستجابة نحو 450 رمزًا، فالوكيل يكتب دالة لا رواية.

هذا النوع من الأحمال يولّد ثلاث مشكلات لا تلتقطها الاختبارات القياسية:

  • حساسية TTFT. يرى المطوّر شاشة فارغة إلى أن يصل الرمز الأول. وفي هذه الفترة، بين الإرسال وبدء البث، تضيع الثقة بالأداة. أما سرعة التوليد فثانوية، إذ يبدو الأداء سريعًا متى بدأت الرموز بالتدفق.
  • سياق طويل متزامن. عشرات المطورين بطلبات تتجاوز 80 ألف رمز يملؤون ذاكرة KV-cache في وقت واحد. فيفقد المُجدوِل (scheduler) هامش المناورة، ويرتفع TTFT تدريجيًا، ويتدهور النظام قبل أن يتعطل رسميًا بوقت طويل.
  • نمط يغلب عليه prefill. يقع الحمل هنا أساسًا على مرحلة prefill لا على decode. أما المحركات المصمَّمة للتوليد الطويل فلا تحصل على ميزتها المعتادة.

أُجري الاختبار على 4× NVIDIA B200 لكل محرك.

نتائج Together Inference Engine

قورن Together Inference Engine بـ TensorRT-LLM وبمحركات مفتوحة المصدر رائدة أخرى على العتاد نفسه. وجاءت النتائج على حمل وكلاء البرمجة في بيئة الإنتاج على النحو الآتي:

  • +31% في عدد الرموز في الثانية (TPS) مقارنة بأقرب منافس مفتوح المصدر
  • زمن TTFT أفضل بمرتين عند تشبّع حركة الطلبات
  • تكلفة أقل بنسبة 76% مقارنة بـ Claude Opus 4 من Anthropic
  • زمن استجابة مستقر عند التزامن المرتفع، في الظروف التي بدأ فيها المنافسون يتدهورون

جاء هذا التحسّن نتيجة تحسين شامل لكامل المنظومة: تقنية ThunderMLA، ونوى CUDA مخصصة أُعيدت كتابتها، وتحليل أداء (profiling) من طرف إلى طرف على حركة طلبات حقيقية.

«تقيس معظم الاختبارات مستخدمًا واحدًا على خادم مخصص. تبدو الأرقام رائعة، لكنها عديمة الفائدة تمامًا عند الحديث عن بيئة الإنتاج»، بحسب مدونة

Together AI.

ماذا يعني ذلك

الفجوة بين محركات الاستدلال كبيرة تحديدًا تحت الحمل الحقيقي، ولا تظهر في الاختبارات الاصطناعية. وبالنسبة للفرق التي تبني مساعدين ذكيين للمطورين، يؤثر اختيار المزوّد مباشرة في عدد المستخدمين الذين يتلقون ردًا سريعًا في وقت واحد، وعدد من سيحدّقون في شاشة فارغة. فجودة الاستدلال في بيئة الإنتاج لم تعد تفصيلًا تقنيًا، بل ميزة تنافسية.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا لا تفيد الاختبارات القياسية؟

يقيس اختبار الاستدلال التقليدي مستخدمًا واحدًا على خادم مخصص. تبدو الأرقام مبهرة، لكنها لا تقول شيئًا عن ظروف العمل الفعلية. ففي بيئة الإنتاج، تتنافس عشرات الطلبات بل مئات منها في آن واحد على ذاكرة KV-cache نفسها وعلى عرض نطاق الذاكرة ودورات GPU. وكلما زادت حركة الطلبات، ارتفع زمن الوصول إلى أول رمز (TTFT). وعند نقطة ما يفقد النظام جدواه قبل أن يتعطل رسميًا. وتبلغ المحركات المختلفة هذه النقطة عند مستويات حمل متباينة جدًا، وهذا بالضبط ما ينبغي قياسه.

ما أبرز التفاصيل حول ما الذي يجعل وكلاء البرمجة حملًا خاصًا؟

تحمل طلبات وكلاء البرمجة (coding agents) سياقًا ضخمًا: الملف الجاري تحريره، والشيفرة المحيطة به، وتاريخ الحوار، ومقتطفات من البحث المتجهي. وتراوح طول الرموز المُدخلة بين 45 و200 ألف رمز، في محاكاة لنمو جلسة التطوير الحقيقية. وبلغ متوسط طول الاستجابة نحو 450 رمزًا، فالوكيل يكتب دالة لا رواية. هذا النوع من الأحمال يولّد ثلاث مشكلات لا تلتقطها الاختبارات القياسية: حساسية TTFT. يرى المطوّر شاشة فارغة إلى أن يصل الرمز الأول. وفي هذه الفترة، بين الإرسال وبدء البث، تضيع الثقة بالأداة.

ما أبرز التفاصيل حول نتائج Together Inference Engine؟

قورن Together Inference Engine بـ TensorRT-LLM وبمحركات مفتوحة المصدر رائدة أخرى على العتاد نفسه. وجاءت النتائج على حمل وكلاء البرمجة في بيئة الإنتاج على النحو الآتي: +31% في عدد الرموز في الثانية (TPS) مقارنة بأقرب منافس مفتوح المصدر زمن TTFT أفضل بمرتين عند تشبّع حركة الطلبات تكلفة أقل بنسبة 76% مقارنة بـ Claude Opus 4 من Anthropic زمن استجابة مستقر عند التزامن المرتفع، في الظروف التي بدأ فيها المنافسون يتدهورون جاء هذا التحسّن نتيجة تحسين شامل لكامل المنظومة: تقنية ThunderMLA، ونوى CUDA مخصصة…

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…