جوجل تكشف عن خوارزمية TurboQuant: ذاكرة نماذج الذكاء الاصطناعي تتقلص ستة أضعاف

جوجل تكشف عن خوارزمية TurboQuant: ذاكرة نماذج الذكاء الاصطناعي تتقلص ستة أضعاف

اصطدم التطور السريع لنماذج اللغة الكبيرة بحاجز مادي صارم، هو النمو الأسي في متطلبات القدرة الحاسوبية وحجم الذاكرة العشوائية. وطوال فترة طويلة بدا أن توسيع نطاق الذكاء الاصطناعي سيبقى حكرًا على الشركات الكبرى ذات الميزانيات المفتوحة لشراء عتاد الخوادم، لكن فريقًا من الباحثين في Google Research اقترح حلًا أنيقًا لهذه المشكلة. فقد أحدثت تقنية TurboQuant، وهي خوارزمية تكميم مبتكرة، نقلة حقيقية في تحسين أداء الشبكات العصبية. ونجح المهندسون في خفض استهلاك النماذج للذاكرة ستة أضعاف، مع الحفاظ الكامل على دقة توليد الإجابات الأصلية. ويمثل هذا التطور انتقالًا من التوسع الكمي في عتاد الخوادم إلى استخدام أذكى وأكثر كثافة للبنى المعمارية القائمة.

ولإدراك حجم هذا الإنجاز، لا بد من فهم طبيعة المستهلك الرئيسي للذاكرة في أنظمة الذكاء التوليدي الحديثة، وهو ما يُعرف بـ KV-cache. فأثناء معالجة اللغة الطبيعية، تحتفظ النماذج القائمة على المحوّلات (Transformers) بالحسابات الوسيطة للمفاتيح والقيم لكل رمز (token). وهذا ما يتيح للشبكة العصبية تذكّر سياق المحادثة وتجنّب إعادة حساب البيانات السابقة عند توليد كل كلمة لاحقة.

وعند الدقة المعتادة البالغة ستة عشر أو اثنين وثلاثين بتًا، تتضخم هذه الذاكرة المؤقتة إلى أحجام هائلة مع زيادة طول طلب المستخدم. وعمليًا، لا تمتلئ ذاكرة مسرّعات الذكاء الاصطناعي المتقدمة، على ارتفاع تكلفتها، بأوزان النموذج نفسها بقدر ما تمتلئ بسياق الجلسات الجارية. وحتى الآن، أدت محاولات ضغط هذه البيانات بشكل جذري إما إلى تراجع غير مقبول في جودة الإجابات، وإما إلى الحاجة لإعادة تدريب النظام بأكمله على المعاملات الجديدة، وهي عملية تستغرق أشهرًا وتستهلك موارد ضخمة.

تقوم فكرة TurboQuant على ضغط دقة KV-cache ضغطًا جذريًا إلى ثلاثة بتات، وهو مستوى غير مسبوق. فالتكميم، بوصفه عملية رياضية تحوّل القيم المستمرة أو عالية الدقة إلى مقابلات منفصلة منخفضة الدقة، معروف منذ زمن طويل، غير أن مختصي Google Research تمكنوا من تجاوز أبرز عقباته. فقد أدرجوا في بنية الخوارزمية آلية ذكية لتعويض الفاقد: إذ يُستخدم عمليًا تنسيق من أربعة بتات، تخصَّص ثلاثة منها للقيمة المضغوطة نفسها، وبت إضافي واحد حصريًا للتصحيح الرياضي للأخطاء. وقد أتاح هذا النهج الحفاظ على أدق تفاصيل التنشيطات داخل الشبكة العصبية. لكن الجانب الأكثر إبهارًا في التقنية أن الخوارزمية تُطبَّق فوريًا تقريبًا، ولا تتطلب إطلاقًا إعادة تدريب مصفوفات المعاملات الضخمة، وهو ما يوفّر بحد ذاته ملايين الدولارات من وقت الحوسبة.

وأظهرت الاختبارات العملية للخوارزمية الجديدة، التي أُجريت على مسرّعات الذكاء الاصطناعي الرائدة Nvidia H100، نتائج مذهلة تؤكد صحة الحسابات النظرية. ففي ظل استخدامه مع المعالجات الرسومية الحديثة، حقق الإصدار ذو الأربعة بتات من TurboQuant زيادة بمقدار ثمانية أضعاف في سرعة حساب لوجيتات الانتباه (attention logits) مقارنة بالمفاتيح التقليدية غير المكمَّمة ذات الاثنين والثلاثين بتًا. وتغيّرت معادلة الاستدلال في الشبكات العصبية: فبدلًا من إهدار دورات ثمينة في نقل كتل البيانات الثقيلة بين مستويات الذاكرة، باتت الرقاقات تتعامل مع حزم فائقة الصغر. وفي الوقت نفسه، انخفض الحجم الإجمالي للذاكرة المؤقتة المستخدمة ستة أضعاف بالضبط. فالنموذج يعمل أسرع بأضعاف، ويحتاج مساحة أقل بأضعاف، ويقدّم نتيجة مطابقة في الجودة، وهو ما يُعد في صناعة العتاد سيناريو التحسين المثالي.

ومن الصعب المبالغة في تقدير تبعات هذا الاختراق على السوق العالمية للذكاء الاصطناعي. فأولًا، يفتح الانخفاض الجذري في احتياجات نماذج اللغة الكبيرة من العتاد الباب أمام تشغيلها على أجهزة أقل قوة، وبالتالي أكثر إتاحة. فإذا كان نشر شبكة عصبية للشركات يتطلب سابقًا عناقيد من عشرات بطاقات الرسوميات الرائدة، فسيصبح ممكنًا الآن الحصول على أداء مماثل باستخدام عتاد من الأجيال السابقة أو عدد أقل بكثير من الرقاقات الحديثة. وبالنسبة لعمالقة التقنية، يعني ذلك تخفيضًا كبيرًا في تكلفة توسيع خدمات الذكاء الاصطناعي السحابية، وتراجعًا في استهلاك مراكز البيانات للطاقة، وهو استهلاك أثار في السنوات الأخيرة قلقًا جديًا. أما بالنسبة للشركات الناشئة، فهي فرصة فريدة للمنافسة في مجال الذكاء التوليدي دون الحاجة إلى جذب استثمارات فلكية لشراء الخوادم.

وفي الخلاصة، يمكن القول بثقة إن ما طورته Google Research ينقل تركيز الصناعة بأكملها من سباق لا ينتهي على القدرات الحاسوبية إلى أناقة الخوارزميات الرياضية. وتثبت تقنية TurboQuant أن سقف كفاءة الشبكات العصبية الحديثة لم يُبلَغ بعد، وأن بنية المحوّلات تخفي احتياطيات ضخمة لم تُستثمر. ومع دمج هذه الخوارزمية في الأطر المفتوحة والمنتجات التجارية، من المرجح أن تشهد الصناعة موجة جديدة من تطبيقات الذكاء الاصطناعي القادرة على معالجة نوافذ سياق ضخمة بأدنى التكاليف. ويصبح الذكاء الاصطناعي أكثر كفاءة وأقل كلفة في آن واحد، في خطوة جديدة واثقة نحو اعتماده المستدام والواسع في حياتنا اليومية.