V
ناشر · موثَّق من قِبَل التحرير
vLLM Blog
مصدر أخبار الذكاء الاصطناعي. تُختار المقالات وتُعدَّل من قِبَل تحرير Hamidun News.
أحدث المنشورات
LLMvLLM Blog
vLLM تتيح لعقد decode إعادة KV-cache إلى عقد prefill وتُسرّع TTFT حتى 3.3 مرة
أضافت vLLM نقل KV-cache في الاتجاهين: تأخذ عقد prefill السياق الجاهز من عقد decode، فينخفض زمن أول توكن في الحوارات الطويلة حتى 3.3 مرة.
LLMvLLM Blog
vLLM يعمل على Vera Rubin NVL72: إنتاجية أعلى بمقدار 7.8 مرة لكل GPU
حصل vLLM على دعم NVIDIA Vera Rubin NVL72: النماذج تعمل منذ اليوم الأول، ونوى FlashInfer مضبوطة لـ Rubin، وارتفعت الإنتاجية لكل GPU على AgentX بمقدار 7.8 مرة مقارنة بـ GB200.