بث مباشر 18.11 · الدفعة 318 نوفمبر، 19:00 بتوقيت موسكو — ورشة عملية مجانية لوكلاء الذكاء الاصطناعي · الدفعة 3 تبدأ 23.11ورشة 18 نوفمبر ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارHabr AI→ المصدر

تسريع نموذج لغوي على ESP32-S3 إلى 406 رموز/ث — أسرع بـ18 مرة

يستطيع المتحكم الدقيق ESP32-S3، الذي يكلف بضع مئات من الروبلات، تشغيل نموذج Llama-2 صغير جداً من 260 ألف معامل، لكن المشاريع المعروفة لم تتجاوز نحو 19 رمزاً في الثانية. حوّل المؤلف الأوزان إلى int8، وكتب نوى بلغة التجميع لتعليمات المتجهات PIE، وشغّل النواة الثانية، وأعاد كتابة آلية الانتباه. والنتيجة 406 رموز في الثانية مقابل 22,5 للنسخة الساذجة على نواة واحدة، مع التحقق من أن النص الناتج يطابق المرجع. والخلاصة لمطوري الأنظمة المدمجة (embedded) بسيطة: اضغطوا الأوزان أولاً واختاروا مكان تخزينها، ثم انتقلوا بعد ذلك إلى لغة التجميع.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
تسريع نموذج لغوي على ESP32-S3 إلى 406 رموز/ث — أسرع بـ18 مرة
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1int8 بدلاً من float32 أعطى تسريعاً بمقدار ×2,5: العائق كان قراءة الذاكرة لا الحسابات
تعليمات المتجهات PIE71,7 → 175,2 رمز/ث، والنواة الثانية: حتى 285,5
حقيقة رئيسية #3نموذج بحجم 274 كيلوبايت يملأ تقريباً SRAM الداخلية للشريحة البالغة 512 كيلوبايت

تشغيل نموذج لغوي على متحكم دقيق يكلف بضع مئات من الروبلات حيلة تناسب الهواة أكثر من غيرهم، لكن هذا التحليل مفيد لكل من يحاول انتزاع مزيد من السرعة من عتاد محدود الموارد. اعتمد المؤلف على ESP32-S3 (نواتان Xtensa LX7 بتردد 240 ميغاهرتز، و512 كيلوبايت من SRAM الداخلية) ونموذج stories260K من مجموعة tinyllamas لأندريه كارباثي. هذا نموذج Llama-2 حقيقي بآلية انتباه وRoPE وSwiGLU، لا يتجاوز عدد معاملاته 259 328 معاملاً، وقد دُرّب على قصص الأطفال TinyStories. حقق مشروع esp32-llm المعروف من DaveBben على هذه الشريحة 19,13 رمزاً في الثانية. أما هنا فبلغت السرعة 406 رموز في الثانية، أي أسرع بنحو 21 مرة، دون رفع تردد المعالج ودون مسرّعات خارجية.

التحقق أولاً، ثم التسريع

الخطأ في لغة التجميع لا يوقف البرنامج، بل يفسد النص بصمت. ومن الصعب ملاحظة ذلك: فحتى في حالتها السليمة، ليست قصص ليلي والكرة الحمراء تحفة أدبية. لذلك بنى المؤلف سلسلة تحقق: مرجع بلغة numpy، ومحاكٍ للبرنامج الثابت يستخدم التكميم نفسه وترتيب عمليات الفاصلة العائمة نفسه، ومحرك C على الحاسوب (يطابق المحاكي بتّاً ببت على 200 خطوة)، ومحاكي QEMU من Espressif، وأخيراً اللوحة نفسها. وعلى اللوحة تُنتج كل الأوضاع الرموز نفسها التي ينتجها المحاكي، ولا يتجاوز تباين اللوغيتات 5·10⁻⁸.

أربع خطوات للتسريع

int8 ومكان تخزين الأوزان. ضغطت أوزان int8 بمعامل مقياس واحد لكل صف من المصفوفة حجم النموذج من 1013 إلى 274 كيلوبايت. والجودة لا تتأثر تقريباً: تزداد الحيرة (perplexity) بنسبة 0,0%، بينما يضيف خط المعالجة كاملاً، بتنشيطات int8 وKV-cache، نسبة +0,7%. أما أربع بتات فمدمرة بالفعل: +24,4% مع مقياس لكل صف، و+14,5% مع مقياس لكل 16 وزناً. وأدى الانتقال إلى int8 في PSRAM نفسها إلى تسريع التوليد 2,5 مرة: فعنق الزجاجة كان قراءة الذاكرة لا العمليات الحسابية. والفلاش عبر XIP لا يتأخر كثيراً عن PSRAM (53,3 مقابل 55,3 رمز/ث)، أما SRAM الداخلية فحققت 71,7 رمز/ث.

تعليمات المتجهات PIE. يستطيع هذا الامتداد، بسجلاته ذات 128 بت، ضرب 16 زوجاً من int8 وإضافة الناتج إلى المراكم بتعليمة واحدة هي ee.vmulas.s8.accx. والمترجم لا يولّد مثل هذه التعليمة، لذا كُتبت النواة بلغة التجميع. وبُعد النموذج 64 يتسع لأربعة سجلات، فيُحمَّل متجه الدخل مرة واحدة. ودُمجت مصفوفات Q وK وV في مصفوفة واحدة، وكذلك W1 مع W3: أربع عمليات ضرب لكل طبقة بدلاً من سبع. النتيجة: 71,7 → 175,2 رمز/ث.

النواة الثانية. المصفوفات صغيرة جداً، وكان سيمافور FreeRTOS سيلتهم كامل المكسب، لذلك تعمل النواة الثانية في حلقة على عدّاد volatile، وتنام خارج مرحلة التوليد. واضطر المؤلف إلى تعطيل مؤقّت المراقبة (watchdog). النتيجة: 285,5 رمز/ث، أي ×1,63. ولم يبلغ التسريع الضعف: فعمليات RMSNorm وRoPE وSwiGLU واختيار الرمز تبقى تسلسلية.

الانتباه. بعد تسريع المصفوفات صار الانتباه يستهلك 72% من الوقت، وهذا تطبيق كلاسيكي لقانون أمدال. يعالج المؤلف رأسَي استعلام يتشاركان رأس KV واحداً في تمريرة واحدة، ويقسّم الحساب بحيث يتسع كل شيء في 16 سجلاً من FPU (ففي ناتج التفكيك كان هناك 81 وصولاً إلى المكدس). وارتفع متوسط السرعة على 128 رمزاً إلى 406,1 رمز/ث. أما تحويل Q·K إلى أعداد صحيحة فلم يُجدِ شيئاً: 403,6 مقابل 406,1.

محاسبة الكيلوبايتات

أكثر الأجزاء مفاجأة هو الذاكرة. فيجب أن تتسع الأوزان (274 كيلوبايت) والتنشيطات وKV-cache (نحو 360 بايتاً لكل رمز) في SRAM. بعد إقلاع ESP-IDF بقي 335 كيلوبايت، وكان السياق يتسع لـ96 رمزاً. ثم أُتيحت مساحة إضافية بنقل شيفرة FreeRTOS والكومة (heap) ومشغّل الفلاش من IRAM إلى الفلاش، وبذاكرة تخزين مؤقت للتعليمات بحجم 16 كيلوبايت، ومخازن UART/USB صغيرة، ووضع جدول RoPE في الفلاش: فصار المتاح 363 كيلوبايت والسياق 160 رمزاً. وخلاصة المؤلف: 260 ألف معامل بصيغة int8 تكاد تكون سقف SRAM في هذه الشريحة، وكل ما يزيد عن ذلك سيتعين قراءته أكثر فأكثر من الفلاش أو PSRAM.

ماذا يعني ذلك عملياً

بصراحة: لا استخدام عملياً لمثل هذا النموذج، فهو لا يجيد سوى تأليف قصص الأطفال، والمؤلف نفسه يقرّ بذلك. لكن الدروس قابلة للنقل. فالتكميم والتوزيع الصحيح للأوزان يعطيان أكثر مما تعطيه الحيل المعقدة؛ وفي كل خطوة ينتقل عنق الزجاجة (الذاكرة، ثم الحلقة العددية، ثم الانتباه، والآن عمليات القسمة والتطبيع)؛ ومن دون تحقق بتّاً ببت يصبح تحسين المستوى المنخفض أمراً خطِراً. والشيفرة ونوى لغة التجميع والمحاكي وسكربت القياس متاحة على GitHub (nikuson/esp32-llm). أما هدف المؤلف التالي فهو تشغيل stories15M مباشرة من الفلاش، وهو نموذج أكبر بـ60 مرة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول التحقق أولاً، ثم التسريع؟

الخطأ في لغة التجميع لا يوقف البرنامج، بل يفسد النص بصمت. ومن الصعب ملاحظة ذلك: فحتى في حالتها السليمة، ليست قصص ليلي والكرة الحمراء تحفة أدبية. لذلك بنى المؤلف سلسلة تحقق: مرجع بلغة numpy، ومحاكٍ للبرنامج الثابت يستخدم التكميم نفسه وترتيب عمليات الفاصلة العائمة نفسه، ومحرك C على الحاسوب (يطابق المحاكي بتّاً ببت على 200 خطوة)، ومحاكي QEMU من Espressif، وأخيراً اللوحة نفسها. وعلى اللوحة تُنتج كل الأوضاع الرموز نفسها التي ينتجها المحاكي، ولا يتجاوز تباين اللوغيتات 5·10⁻⁸.

ما أبرز التفاصيل حول أربع خطوات للتسريع؟

int8 ومكان تخزين الأوزان. ضغطت أوزان int8 بمعامل مقياس واحد لكل صف من المصفوفة حجم النموذج من 1013 إلى 274 كيلوبايت. والجودة لا تتأثر تقريباً: تزداد الحيرة (perplexity) بنسبة 0,0%، بينما يضيف خط المعالجة كاملاً، بتنشيطات int8 وKV-cache، نسبة +0,7%. أما أربع بتات فمدمرة بالفعل: +24,4% مع مقياس لكل صف، و+14,5% مع مقياس لكل 16 وزناً. وأدى الانتقال إلى int8 في PSRAM نفسها إلى تسريع التوليد 2,5 مرة: فعنق الزجاجة كان قراءة الذاكرة لا العمليات الحسابية.

ما أبرز التفاصيل حول محاسبة الكيلوبايتات؟

أكثر الأجزاء مفاجأة هو الذاكرة. فيجب أن تتسع الأوزان (274 كيلوبايت) والتنشيطات وKV-cache (نحو 360 بايتاً لكل رمز) في SRAM. بعد إقلاع ESP-IDF بقي 335 كيلوبايت، وكان السياق يتسع لـ96 رمزاً. ثم أُتيحت مساحة إضافية بنقل شيفرة FreeRTOS والكومة (heap) ومشغّل الفلاش من IRAM إلى الفلاش، وبذاكرة تخزين مؤقت للتعليمات بحجم 16 كيلوبايت، ومخازن UART/USB صغيرة، ووضع جدول RoPE في الفلاش: فصار المتاح 363 كيلوبايت والسياق 160 رمزاً.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…