EAGLE 3.1: كيفية إصلاح عدم الاستقرار في فك التشفير الاستباقي في نماذج اللغة الكبيرة
تم إطلاق EAGLE 3.1 بشكل مشترك من قبل فريق EAGLE و vLLM و TorchSpec. تحل الخوارزمية الجديدة لفك التشفير الاستباقي مشاكل عدم الاستقرار في استدلال الإنتاج في نماذج
◐ استمع للمقال
تم إطلاق EAGLE 3.1 بشكل مشترك من قبل فريق EAGLE و vLLM و TorchSpec. تحل الخوارزمية الجديدة لفك التشفير الاستباقي مشاكل عدم الاستقرار في استدلال الإنتاج في نماذج اللغة الكبيرة. تم إصلاح خطأ حرج في انجراف الاهتمام كان يقلل من سرعة توليد الرموز.