قدّمت NVIDIA DynoSim لتحسين معلمات LLM serving
قدّمت NVIDIA DynoSim، وهو مُحاكٍ للعثور على الإعداد الأمثل لـ LLM serving. تحاكي الأداة تلقائيًا Pareto frontier مع مراعاة عشرات المعلمات، منها: الواجهة الخلفية
◐ استمع للمقال
قدّمت NVIDIA DynoSim، وهو مُحاكٍ للعثور على الإعداد الأمثل لـ LLM serving. تحاكي الأداة تلقائيًا Pareto frontier مع مراعاة عشرات المعلمات، منها: الواجهة الخلفية للنموذج، والتوازي التنسوري، وتوزيع prefill/decode، والمجدول وغيرها. وهذا يبسّط ضبط أنظمة خدمة النماذج الكبيرة المعقدة.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.