هاوٍ يشغّل Qwen على FPGA بسعر $50 وذاكرة 4 غيغابايت اعتمادًا على openTPU

نشر مهندس هاوٍ على Habr الجزء الأول من قصة مسرّع ذكاء اصطناعي صنعه بنفسه. اعتمد على مشروع openTPU المفتوح، واشترى لوحة FPGA بسعر $50 وذاكرة 4 غيغابايت، وربطها بحاسوب مصغّر عادي وشغّل عليها نموذجًا لغويًا من عائلة Qwen. لا يتضمن الإعلان أي قياسات للسرعة: لا عدد الرموز في الثانية، ولا حجم النموذج، ولا دقة تمثيل الأوزان (عدد البتات). لكن التكوين نفسه يبيّن إلى أي حد انخفضت كلفة الدخول إلى تجارب الذكاء الاصطناعي على مستوى العتاد.

ما المعروف من الجزء الأول

يمكن تلخيص ما ورد في النص المنشور على النحو التالي:

• المسرّع: FPGA بكلفة نحو $50.
• الذاكرة: 4 غيغابايت.
• المضيف: حاسوب مصغّر عادي، دون أي عتاد خوادم.
• المعمارية: openTPU، تنفيذ مفتوح لأفكار المعالج التنسوري.
• النموذج: Qwen، عائلة النماذج اللغوية من Alibaba.
• الصيغة: الجزء الأول من سلسلة، والتتمة قادمة.

لم يُكشف عن إصدار Qwen الذي جرى تشغيله، ولا عن طريقة تكميمه، ولا عن الواجهة التي تربط اللوحة بالحاسوب. وتتوقف على هذه المعايير الثلاثة معظم النتائج، لذا من المبكر تقييم النتيجة قبل صدور الجزء الثاني.

لماذا يناسب نهج TPU لوحات FPGA

بُني أول TPU من Google، الموصوف في ورقة نُشرت عام 2017، حول مصفوفة انقباضية (systolic array) مؤلفة من 256×256 وحدة ضرب وتراكم ثمانية البتات، أي 65 536 وحدة تمر عبرها البيانات على شكل موجة. هذه البنية منتظمة، وتتلاءم جيدًا مع المنطق القابل للبرمجة، ولا تتطلب تحكمًا معقدًا. ويمكن بناء مضاعِف مصفوفات عليها، والضرب المصفوفي هو أساس عمل المحوّلات (transformers).

تؤدي FPGA في هذا التصميم دور لوحة نماذج أولية للرقاقة. يمكن إعادة كتابة التصميم، وتغيير حجم المصفوفة ودقة البتات وآلية التعامل مع الذاكرة، دون طلب تصنيع سيليكون. وبسعر $50 تمثل هذه الميزة حجة قوية للتعلم وبناء النماذج الأولية.

القيد الرئيسي: الذاكرة

لا يتوقف توليد النصوص على الحساب، بل على عرض نطاق الذاكرة. فمع كل رمز يجب قراءة معظم أوزان النموذج تقريبًا. ولوحة FPGA الرخيصة بوحدة ذاكرة واحدة توفر ناقلًا متواضعًا، وهو ما سيحدد السرعة، لا عدد وحدات الضرب في المصفوفة.

تضع سعة 4 غيغابايت سقفًا لحجم النموذج. وفق تقديرنا، يشغل نموذج بعدة مليارات من المعاملات، عند تكميم 4 بتات، نحو 2 غيغابايت، ويبقى هامش لذاكرة السياق المؤقتة. لذلك من المنطقي توقع إصدار صغير من Qwen بضغط شديد. أما النماذج التي تضم عشرات المليارات من المعاملات فلن تتسع على هذه اللوحة.

ما الذي يجب تتبعه في الجزء الثاني

المشروع مفيد للمهندسين الراغبين في فهم بنية المسرّع من الداخل، وللطلاب الذين يدرسون معمارية رقاقات الذكاء الاصطناعي. لن يكون بديلًا عن بطاقة الرسوميات، ولا يَعِد الكاتب بذلك، إذ يُفهم من العنوان.

عند صدور التتمة، تحقق من أربعة أمور:

• سرعة التوليد بعدد الرموز في الثانية على نموذج محدد؛
• مخطط التكميم وخسائر الجودة؛
• عرض نطاق الذاكرة وقناة الاتصال بالمضيف؛
• توفر شيفرة مفتوحة وتعليمات لإعادة الإنتاج بالمبلغ نفسه، $50.

إذا تبيّن أن المستودع مفتوح وأن البناء قابل لإعادة الإنتاج، فستصبح هذه التجربة ساحة تعليمية جيدة لمن يريد تجربة الذكاء الاصطناعي على مستوى العتاد دون ميزانية لوحدات GPU.