كيف تشغّل الشبكات العصبية بتكلفة أقل: خوارزمية TurboQuant من Google تحسّن استخدام الذاكرة
كشفت Google عن TurboQuant، وهي طريقة لضغط KV-cache يمكنها خفض الذاكرة اللازمة للاستدلال ستة أضعاف على الأقل وتسريع حساب الانتباه. وتزداد أهمية ذلك عند تشغيل نماذج LLM محليًا وفي المحادثات الطويلة. ولا تتعلق التقنية بأوزان النموذج، بل بذاكرته العاملة أثناء التوليد. غير أن من المستبعد أن توقف هذه التقنية نمو التكاليف الإجمالية للبنية التحتية للذكاء الاصطناعي.
معالج بواسطة الذكاء الاصطناعي من ZDNet AI؛ بتحرير Hamidun News
طوّرت Google Research في 24 مارس خوارزمية TurboQuant للشبكات العصبية التي تعمل محليًا، وهي تقلّل متطلبات الذاكرة أثناء توليد الإجابة.
ما هو KV-cache في الشبكات العصبية؟
هو الذاكرة العاملة التي يخزّن فيها النموذج اللغوي المفاتيح والقيم الوسيطة للرموز (tokens) التي عالجها بالفعل. وكلما طالت المحادثة أو الوثيقة، زادت الذاكرة التي يشغلها هذا الكاش، وارتفعت تكلفة تشغيل النموذج.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.