Google تكشف عن TurboQuant: خوارزمية تضغط الذاكرة العاملة للذكاء الاصطناعي بمقدار ست مرات

أعلنت Google عن TurboQuant، وهي خوارزمية جديدة لضغط الذاكرة العاملة للشبكات العصبية، تقول الشركة إنها قادرة على تقليل استهلاك الذاكرة حتى ست مرات. وأثار الإعلان على الفور موجة من السخرية في الأوساط التقنية: فمستخدمون حول العالم يقارنون هذا التطوير بـ Pied Piper، وهي الخوارزمية الخيالية في مسلسل «وادي السيليكون» من HBO، التي أصبحت رمزًا شهيرًا للضجة التقنية غير المبررة. وحتى الآن يبقى TurboQuant تجربة مخبرية: فالشركة لم تحدد ورقة تقنية، ولا شيفرة برمجية متاحة للعامة، ولا مواعيد للتطبيق التجاري.

لماذا تشكل ذاكرة الشبكات العصبية مشكلة حرجة

تتطلب النماذج اللغوية الكبيرة كميات هائلة من ذاكرة GPU. ولهذه المشكلة بعدان. الأول ثابت: أوزان النموذج نفسها. فنموذج Llama 3.1 بـ 70 مليار معامل يشغل نحو 140 غيغابايت بالدقة الكاملة. أما البعد الثاني فديناميكي: الحسابات الوسيطة التي ينفذها النموذج عند معالجة كل طلب. تسمى هذه البيانات المؤقتة التنشيطات (activations)، وهي التي تتحول إلى عنق الزجاجة الرئيسي عند العمل مع السياقات الطويلة.

عندما يعالج النموذج مستندًا من 100 000 رمز (token)، عليه أن يحتفظ في الذاكرة بنتائج حسابات كل طبقة لكل رمز، وهو ما يُعرف بـ KV-cache. ويزداد حجم هذه البيانات خطيًا مع طول السياق، وقد يتجاوز حجم الأوزان نفسها عند المدخلات الطويلة بما يكفي. وهنا تحديدًا يقدم TurboQuant حلًا جذريًا.

كيف يعمل TurboQuant

تطبق الخوارزمية الكمّنة (quantization)، أي تقنية خفض الدقة العددية للتمثيلات، مباشرة على التنشيطات في الزمن الفعلي. وقد طُبقت الكمّنة القياسية لعقود على الأوزان الثابتة للنماذج: فبدلًا من الأعداد العشرية ذات 32 بتًّا تُستخدم أعداد صحيحة بـ 8 بتات أو 4 بتات. ويعمل ذلك جيدًا مع الأوزان غير المتغيرة لأن نطاق قيمها قابل للتنبؤ.

أما التنشيطات فالأمر معها مختلف تمامًا. فقيمها تتفاوت بصورة لا يمكن التنبؤ بها بحسب الطلب المحدد، ما يجعل الكمّنة القياسية غير فعالة دون فقدان في الجودة. وتؤكد Google أن TurboQuant يحل هذه المشكلة بأساليب تكيفية تراعي إحصاءات التنشيطات لحظيًا. ووفقًا للشركة، يتيح ذلك تحقيق ضغط بمقدار ست مرات دون تدهور ملموس في جودة الإجابات.

ماذا يعني تأكد النتائج

حتى النتيجة العملية الأكثر تواضعًا، أي ضغط بمقدار مرتين إلى ثلاث، كانت ستغير اقتصاديات البنية التحتية للذكاء الاصطناعي. فكبار مزودي الخدمات السحابية ينفقون عشرات المليارات من الدولارات سنويًا على بنية GPU التحتية لخدمة طلبات النماذج. ويعود جزء كبير من هذه النفقات إلى متطلبات الذاكرة أثناء الاستدلال (inference).

وكان ضغط التنشيطات سيعني نماذج أقوى على العتاد نفسه، وزمن استجابة أقل بفضل تقليص عمليات الذاكرة، وإمكانية معالجة السياقات الطويلة دون تراجع في الأداء.

وبالنسبة لأجهزة الحافة (edge) فإن الأثر أكبر. فتشغيل نماذج بمستوى Llama 3.1 70B يتطلب حاليًا عدة بطاقات رسوميات أو تنازلات كبيرة في الدقة. وقد يخفض TurboQuant هذا الحد بصورة ملموسة، ويتيح النماذج القوية لأجهزة اللابتوب ومحطات العمل ذات الذاكرة المحدودة.

ظاهرة Pied Piper وما وراءها

المقارنة مع Pied Piper ليست مجرد ميم. ففي المسلسل تبتكر شركة ناشئة خيالية خوارزمية ضغط شاملة بخصائص خارقة، تقوم على «معامل فايسمان» الأصلي. والتشابه مع TurboQuant واضح: أرقام ثورية، وشيفرة مغلقة، وغياب التحقق المستقل.

لكن الفارق أن Google DeepMind ليست شركة ناشئة في مرآب. فلدى الشركة سجل طويل من الإنجازات الحقيقية في مجال الكفاءة: Flash Attention، وتحسينات KV-cache، وخوارزميات التقطير. وإذا كان TurboQuant قد اجتاز المراجعة الداخلية وأُعلن عنه علنًا، فالأرجح أن وراءه نتيجة حقيقية.

والخطوة الإلزامية التالية هي النشر على arXiv وإعادة إنتاج المؤشرات بصورة مستقلة على يد باحثين من خارج Google. وإلى ذلك الحين يبقى TurboQuant مجرد وعد. وإذا تأكدت النتائج، فستختفي النكات عن Pied Piper مع اختفاء مشكلة ذاكرة الشبكات العصبية، وسيكون ذلك نتيجة جيدة.