ستانفورد تكشف عن شريحة Onyx للذكاء الاصطناعي المتناثر: أسرع من المعالج المركزي وأقل استهلاكاً للطاقة بـ70 مرة

كشف باحثو ستانفورد عن المسرّع Onyx القادر على الاستفادة من «الأصفار» الموجودة داخل نماذج الذكاء الاصطناعي. تقوم الفكرة على عدم إهدار الطاقة في عمليات ضرب وجمع لا تغيّر النتيجة أصلاً، وبذلك تتسارع الحسابات دون التخلي عن النماذج الكبيرة.

لماذا تهمّ الأصفار

في الشبكات العصبية، تُخزَّن البيانات والأوزان والتنشيطات على هيئة مصفوفات من الأرقام: متجهات ومصفوفات وتنسورات (tensors). وفي حالات كثيرة، يساوي جزء كبير من هذه الأرقام صفراً، أو يقترب منه إلى حد يمكن معه اعتباره صفراً دون خسارة ملحوظة في الجودة. تُسمّى هذه الخاصية التناثر (sparsity).

إذا زادت نسبة الأصفار على النصف، يمكن للنموذج أن يستفيد من خوارزميات خاصة: فبدلاً من تخزين المصفوفة كاملة ومعالجتها، يحتفظ النظام بالقيم المفيدة فقط ويتجاوز العمليات الفارغة.

وهذا مهم للصناعة، لأن النماذج تنمو أسرع من قدرة البنية التحتية على الانخفاض في كلفتها. فكلما زاد عدد المعاملات ارتفعت الجودة، لكن ارتفعت معها كلفة التشغيل من حيث الوقت والطاقة والبصمة الكربونية. ويورد المقال مثال Meta Llama* بـ2 تريليون معامل. ويذكّر الباحثون كذلك بنتائج Cerebras: ففي Llama 7B أمكن تصفير 70–80 في المئة من المعاملات دون فقدان في الدقة. وهذا يعني أن النماذج الكبيرة تخفي بالفعل احتياطياً للتسريع، وما علينا سوى تعلّم كيفية استغلاله.

أين تضيع الكفاءة

تكمن المشكلة في أن العتاد الشائع صُمّم أساساً للحسابات الكثيفة، لا للبنى المتناثرة. فعندما تُضغط البيانات، يجب تخزين بيانات وصفية (metadata) مع القيم غير الصفرية، مثل فهارس الصفوف والأعمدة والقطاعات. ويصبح الوصول إلى هذه البيانات غير مباشر ويصعب التنبؤ به: إذ يضطر المعالج أولاً إلى البحث عن الإحداثيات، ثم الوصول إلى القيمة نفسها. والنتيجة أن جزءاً من الوقت لا يُصرف على العمليات الحسابية، بل على التنقل في الذاكرة وتنفيذ العمليات الإدارية.

• تتفوق وحدات GPU في التعامل مع المصفوفات الكثيفة، لكنها مع التناثر العشوائي كثيراً ما توازي عمليات عديمة الفائدة تتضمن أصفاراً.
• لا تنفع structured sparsity في كل الأحوال، لأنها تتطلب نمط تصفير صارماً، مثل صفرين من كل أربعة معاملات متجاورة.
• المعالجات المركزية (CPU) أكثر مرونة، لكنها كثيراً ما تصطدم بإخفاقات الجلب المسبق (prefetcher) وبطلبات الذاكرة غير المتوقعة.
• حتى مكتبات sparse لا تقلّص جميع النفقات الإضافية، لأن جزءاً من الموارد يذهب إلى خدمة البيانات نفسها.

تبحث الشركات المصنّعة بالفعل عن حلول التفافية، لكنها حتى الآن جزئية. فقد سرّعت Apple الوصول غير المباشر إلى الذاكرة في شريحتي A14 وM1، وتروّج Cerebras لنهج sparse في معالجها Wafer Scale Engine، وتطوّر Meta* شريحة MTIA. لكن لهذه الحلول حدودها أيضاً: فبعضها يعمل مع تناثر الأوزان فقط، وبعضها الآخر يوفّر الدعم لعمليات منفردة فحسب، كضرب المصفوفات. وهذا لا يكفي لأحمال الذكاء الاصطناعي الفعلية، لأن النماذج لا تتألف من عملية واحدة، بل من سلسلة طويلة من الطبقات والتحويلات المختلفة.

كيف يعمل Onyx

انطلق فريق ستانفورد من المستوى الأدنى وبنى Onyx، وهو مسرّع قابل للبرمجة يتعامل بالكفاءة نفسها مع الحسابات المتناثرة والكثيفة. وتقوم بنيته على معمارية CGRA، وهي صيغة وسطى بين CPU وFPGA: فهي أكثر مرونة بكثير من المعالج التقليدي، وفي الوقت نفسه أكثر كفاءة من الدارات القابلة للتهيئة على مستوى البت بالكامل.

يتكوّن Onyx من كتل حسابية وكتل ذاكرة، تخزّن المصفوفات المضغوطة وتعالجها فوراً بهذه الصيغة، دون إعادتها إلى الصيغة الكثيفة عندما لا تدعو الحاجة. ويكتسب المترجم (compiler) أهمية خاصة: فهو يحوّل تعبيرات مثل ضرب مصفوفة متناثرة في متجه إلى رسم بياني للذاكرة والحسابات، ثم يوزّعه على كتل الشريحة.

ووفق بيانات ستانفورد، استهلك Onyx في المتوسط طاقة أقل بـ70 مرة من المعالج المركزي، ونفّذ الحسابات أسرع بنحو 8 مرات. وبحسب مقياس energy-delay product، بلغ التفوق 565 مرة قياساً إلى معالج Intel Xeon ذي 12 نواة مع مكتبات sparse. ومن المفترض أن يضيف الجيل التالي من Onyx دعماً للطبقات غير الخطية والتطبيع (normalization) وsoftmax، وتبديلاً أسهل بين وضعي sparse وdense.

ماذا يعني ذلك

الفكرة الرئيسية في المقال ليست ظهور شريحة ذكاء اصطناعي جديدة أخرى، بل أن المطوّرين بدأوا يحسّنون النماذج لا بخفض الدقة أو الحجم وحسب، بل أيضاً عبر بنية الحسابات نفسها. وإذا ترسّخ نهج التناثر، فسيمكن تشغيل النماذج الكبيرة بكلفة أقل وسرعة أكبر، ما يعني أن القفزة التالية في الذكاء الاصطناعي قد لا تأتي من نماذج جديدة فحسب، بل من فئة جديدة من العتاد.

*Meta مصنّفة في روسيا منظمة متطرفة ومحظورة في الاتحاد الروسي.