Qwen 3.5 4B تحمل داخل أوزانها معالج RISC-V بذاكرة قائمة على DeltaNet

نشر Divyansh Agrawal مشروع Qwenputer: نموذج Qwen 3.5 4B عادي جرى تجميع معالج RISC-V عامل بعرض 32 بت داخل أوزانه. وتعمل طبقات Gated DeltaNet الخاصة بالنموذج بمثابة ذاكرة لهذا المعالج. وعلى اختبار حساب الأعداد الصحيحة الطويلة من مجموعة NUPA ارتفعت دقة النموذج من 48,6% إلى 100%، أي تمامًا بمستوى Qwen نفسها حين تستعين بأداة Python خارجية. ولا يتضمن هذا التصميم بيئة تنفيذ خارجية ولا بيئة معزولة (sandbox) ولا استدعاء أدوات، إذ يجري كل الحساب داخل التمريرات الأمامية. الشيفرة متاحة على GitHub، والنموذج على Hugging Face وModelScope.

طبقات DeltaNet في دور ذاكرة RAM قابلة للعنونة

في Qwen3-Next وQwen 3.5 تعتمد ثلاث من كل أربع طبقات انتباه على Gated DeltaNet، وهي شبكة RNN خطية. يحتفظ كل رأس بمصفوفة حالة، وتُحدّثها قاعدة دلتا. لاحظ Agrawal أنه إذا ضُبطت البوابة على 1 (لا شيء يُنسى)، وقوة الكتابة beta على 1 (تُستبدل القيمة القديمة بالكامل)، وجرى ترميز المفاتيح بصيغة one-hot، فإن الكتابة تعيد كتابة صف واحد فقط، ويعيد الاستعلام محتواه الدقيق. والنتيجة ذاكرة قابلة للعنونة بالفعل.

وهذه نقطة مهمة من زاوية كلفة الاستدلال. فحالة رأس GDN لا تنمو مهما طالت المحادثة، في حين ينمو KV-cache في الانتباه التقليدي خطيًا مع طول السياق. أما فكرة الربط بين قاعدة دلتا و«الأوزان السريعة» فمعروفة منذ ورقة Schlag وIrie وSchmidhuber عام 2021. الجديد هنا أن الذاكرة صارت دقيقة وتعمل داخل نموذج حي، وبموثوقية تكفي لأن يقوم عليها معالج كامل.

مُصرِّف بدل التدريب

لا يوجد أي تدريب إضافي. فالمعالج موصوف على شكل مخطط من خطوات صغيرة مثل «اقرأ السجل» و«اجمع» و«انتقل إذا كان الصفر»، ويحوّل المُصرِّف كل خطوة إلى جزء من طبقة في المحوّل (Transformer). تؤدي رؤوس الانتباه البحث، وتتولى كتل التغذية الأمامية الحساب، وتخزّن رؤوس DeltaNet السجلات والذاكرة وعدّاد التعليمات. وتُنتج كل تعليمة عدة توكنات: يحدد ADDR الصف المراد الكتابة فيه، ويحمل VAL القيمة، ويُنهي STEP التعليمة. وهذه التوكنات هي أثر التنفيذ (trace).

تنفّذ النواة مجموعة RV32IM مع امتداد Zba ووحدة صغيرة لحساب الأعداد الكبيرة. وتشغل 11 طبقة قبل طبقات Qwen الـ 32، بينما تبقى الأوزان الأصلية على حالها: فالحاسوب مضاف في أبعاد وطبقات إضافية. ولضمان الاستخدام الموثوق ربط Agrawal النظام بصيغة استدعاء الأدوات المألوفة للنموذج. ترسل Qwen التعليمات، ويشغّل المعالج طبقاته الخاصة ويكتب الإجابة بنفسه. ويحمّل برنامج صغير هو RvChat البرنامج الثابت (firmware) في حالة GDN، ويمنع توكنات الأثر من الدخول إلى طبقات Qwen.

أبرز أرقام المشروع:

• اجتازت النواة اختبارات riscv-tests الرسمية، وتطابقت نتائج البرامج مع qemu؛
• 18 مليون تعليمة في الوضع الحر دون خطأ واحد؛
• جرت مطابقة نحو 230 000 موضع إخراج مع آلة مرجعية، ولا توجد أي فروق؛
• DeepMind div_big: 97,5% لدى Qwenputer، و95% لدى Qwen مع Python، و72,5% لدى Qwen الأساسية؛
• DeepMind mul_big: 97,5% مقابل 100% مع Python و55% لدى النموذج الأساسي؛
• DeepMind mul_div_multiple_longer: 100% مقابل 97,5% مع Python و90% لدى النموذج الأساسي؛
• DeepMind add_or_sub_big: 97,5%، وهي النسبة نفسها مع Python، و87,5% لدى النموذج الأساسي؛
• NUPA، الأعداد الصحيحة الطويلة: من 48,6% إلى 100%؛
• النص العادي ضمن حدود الضجيج: KL يساوي 6e-4 عند مستوى ضجيج 5e-4.

نظام ملفات بسعة 512 ملفًا وثمن التجربة

أضاف المؤلف فوق الذاكرة مخزنًا تجريبيًا يدعم العمليات put وappend وget وlist وdelete. يُحوَّل اسم الملف بالتجزئة (hash) إلى أحد 1024 خانة في الدليل داخل حالة DeltaNet، ويُخزَّن النص في رؤوس أخرى على شكل سلاسل من ثمانية توكنات في كل صف. وعند حدوث تصادم يجري فحص الخانة التالية، لذا يستغرق البحث خطوتين أو ثلاث. ويتسع النظام لما يصل إلى 512 ملفًا، أي نحو 53 000 توكن. ويمكن حفظ الحالة في نهاية المحادثة وتحميلها في المحادثة التالية. وفي الأسئلة عن وقائع تغيّرت بين المحادثات، تجيب Qwen بشكل صحيح في 90% من الحالات، مقابل 30% عند إدراج المحادثات القديمة ببساطة في السياق، و83,3% مقابل 78,9% لدى أدوات الذاكرة المعتمدة على Python. شيفرة هذا الجزء في الفرع rv-store.

والثمن يُدفع من الموارد. فحجم نقطة الحفظ (checkpoint) يبلغ 18,8 غيغابايت، أي نحو ضعف حجم Qwen الأساسية، مع أن معظم هذا الحجم حشو صفري. ولا يمكن تشغيل النموذج بـ generate() البسيطة، إذ يلزم RvChat. وتكلّف كل تعليمة عدة توكنات مفكوكة الترميز، ويصل المنفّذ الدفعي إلى نحو 3200 توكن معالج في الثانية على L4. أما حساب يكفي لإنجازه بضعة أجزاء من الثانية على وحدة CPU عادية، فيستغرق هنا ثوانيَ.

أين يفيد ذلك عمليًا

لن يحلّ Qwenputer اليوم محل البيئة المعزولة مع Python من حيث السرعة. لكنه يزيل طبقة كاملة من البنية التحتية: لا حاجة إلى خادم أدوات ولا إلى عزل ولا إلى رحلات شبكية ذهابًا وإيابًا (round-trip)، وتكفي بطاقة رسوميات واحدة بسعة 24 غيغابايت. وهذا مثير للاهتمام في الأنظمة الوكيلية (agentic) بوصفه طريقًا إلى حسابات حتمية دون الخروج من حدود النموذج. ويخطط المؤلف لتشغيل Python عبر MicroPython داخل الأوزان من خلال الأداة python()، ولتسريع المعالج نفسه. ويتعلق المسار الثاني من عمله بالأمان: فقد كتب عملين لاحقين، الأول عن كيفية إخفاء النماذج الهجينة استدلالها في حالة RNN والالتفاف على مراقبة سلسلة الاستدلال، والثاني عن الأوزان المُجمَّعة بوصفها مراقِبات مدمجة لا يستطيع النموذج تعطيلها.

التشغيل: استنسخ مستودع qwenputer، ونفّذ الأمر uv sync --extra hf، ونزّل divagr1925/Qwen3.5-4B-Qwenputer عبر Hugging Face CLI، ثم شغّل chipformer.rv.chat مع البرنامج الثابت calc-bridge.elf.