توجيه استعلامات LLM مع مراعاة زمن الاستجابة: تحسّن بنسبة 40% في accuracy-cost عند زمن latency نفسه
نشر باحثون على arXiv موجّهًا لاستعلامات LLM يراعي زمن الاستجابة (latency-aware). وعلى خلاف موازنة الأحمال التقليدية، يقدّر هذا الموجّه الوقت اللازم لإنتاج أول توكن (TTFT)، ويوزّع الاستعلامات مراعيًا زمن الاستجابة والدقة والتكلفة في آن واحد. والنتيجة زيادة تصل إلى 40% في accuracy-cost utility عند زمن الاستجابة نفسه الذي توفّره سياسة round-robin.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.AI؛ بتحرير Hamidun News
نشر باحثون في يوليو 2026 على arXiv ورقة بحثية عن موجّه استعلامات LLM يراعي زمن الاستجابة (latency-aware). يحسّن هذا الموجّه زمن الاستجابة والدقة والتكلفة معًا، ويحقق زيادة تصل إلى 40% في accuracy-cost utility عند زمن الاستجابة نفسه الذي توفّره موازنة الأحمال القياسية.
ما المشكلة في الموجّهات الحالية
توازن موجّهات استعلامات LLM الحديثة بين جودة الإجابة وتكلفتها المالية فقط، ولا تأخذ في الحسبان زمن التوليد على نسخة النموذج المحددة. وعمليًا، تتولى سياسات منفصلة لموازنة الأحمال، مثل round-robin أو join-the-shortest-queue، إدارة زمن الاستجابة، وهي تتجاهل دقة النموذج وتكلفة الاستدلال. والنتيجة أن التوجيه وتوزيع الأحمال يعملان بمعزل أحدهما عن الآخر.
- الهدف هو تحسين ثلاثة معايير معًا: latency وaccuracy وcost
- سياسات الموازنة الأساسية: round-robin وjoin-the-shortest-queue
- الزيادة في accuracy-cost utility تصل إلى 40%
- تبقى أزمنة الاستجابة عند مستوى النهج القياسية نفسه
- المصدر: ورقة بحثية أولية على arXiv (قسم cs.AI)، يوليو 2026
كيف يُقدَّر زمن استجابة الاستعلام
بنى المؤلفون مقدّرًا خفيفًا (lightweight) يحاكي معالجة التوكنات الانحدارية الذاتية على دفعات (batch) داخل إطار الخدمة (serving framework)، ويتنبأ بـ TTFT (time-to-first-token) لكل استعلام. وتكمن الصعوبة في أن زمن الاستجابة لا يتوقف على طول الـ prompt وحده، بل يتأثر أيضًا بحمل prefill وdecode الحالي على نسخة النموذج، وبسياسة الجدولة والتجميع في دفعات التي يعتمدها الإطار نفسه. ويأخذ المقدّر هذه العوامل كلها في الحسبان، ويبقى منخفض الكلفة بما يكفي ليعمل في الزمن الفعلي أثناء التوجيه.
لماذا يهم ذلك
يدمج الموجّه المراعي لزمن الاستجابة تقدير هذا الزمن في قرار التوجيه نفسه، ويوزّع الاستعلامات على النسخ بحيث يبقى زمن الاستجابة والدقة والتكلفة تحت السيطرة في آن واحد. ووفق بيانات المؤلفين، يرفع هذا التحسين المشترك accuracy-cost utility بنسبة تصل إلى 40% دون أن يزيد latency مقارنةً بموازنة الأحمال المعتادة.
«يحقق التحسين المشترك زيادة تصل إلى 40% في accuracy-cost utility مع
الحفاظ على أزمنة الاستجابة نفسها التي توفّرها نهج موازنة الأحمال القياسية»، كما جاء في ملخص الورقة على arXiv.
وبالنسبة إلى الخدمات التي تقدّم إجابات عشرات النماذج تحت الحمل، فهذه طريقة للحصول على جودة أعلى مقابل كل دولار يُنفَق، دون إجبار المستخدم على الانتظار وقتًا أطول.
ماذا يعني ذلك
لم يعد توجيه استعلامات LLM خيارًا بين «الأرخص» و«الأدق»، فقد أضاف محورًا ثالثًا هو السرعة. وهذا يمنح فرق البنية التحتية رافعة جديدة: الأسطول نفسه من النماذج يقدّم قيمة أكبر دون ارتفاع في زمن الاستجابة ودون دفع زيادة في تكلفة الاستدلال.
الأسئلة الشائعة
ما هو TTFT (time-to-first-token)؟
TTFT هو الوقت اللازم لإنتاج أول توكن في الإجابة، وهو مقياس رئيسي لزمن الاستجابة في خدمات LLM. ويتنبأ المقدّر المعروض في الورقة بـ TTFT لكل استعلام عبر محاكاة معالجة التوكنات على دفعات (batch) داخل إطار الخدمة.
ما مدى تفوّق التوجيه المراعي لزمن الاستجابة على موازنة الأحمال المعتادة؟
وفق بيانات المؤلفين، يرفع التحسين المشترك لزمن الاستجابة والدقة والتكلفة accuracy-cost utility بنسبة تصل إلى 40% عند أزمنة الاستجابة نفسها التي توفّرها سياستا round-robin وjoin-the-shortest-queue.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.