يمكن «طيّ» موجّه النظام في RWKV-7 داخل حالة: بدء أسرع بـ12 مرة

في كل مرة ترسل فيها طلبًا إلى روبوت محادثة، يُمرَّر موجّه النظام عبر النموذج من جديد. وكلما طال الموجّه، زاد انتظار أول توكن واستهلاك الذاكرة للتخزين المؤقت. اختبر صاحب تحليل منشور على Habr إمكانية الاستغناء عن هذه العملية بالكامل، واختار للتجربة RWKV-7، وهي بنية تتمتع بخاصية مفيدة.

ما الحالة الابتدائية؟

يحتفظ نموذج Transformer بكل النص الذي قرأه في ذاكرة تخزين مؤقت تنمو مع امتداد المحادثة. أما RWKV فيعمل بطريقة مختلفة: بعد قراءة النص، يضغط كل ما احتفظ به في «ذاكرة» ثابتة الحجم، أي في حالة. تكون هذه الحالة فارغة قبل بدء العمل، لكن يمكن البدء بحالة غير فارغة أيضًا.

هناك طريقتان. الأولى هي قراءة الموجّه مرة واحدة وحفظ الحالة الناتجة، وهو ما يسميه الكاتب «طيّ» الموجّه. والثانية هي تعلّم الحالة بالتدريب، من دون المساس بأوزان النموذج. وفي الحالتين، لا تعود هناك حاجة إلى إدراج نص الموجّه في الطلب.

أُجريت التجارب على نماذج يتراوح عدد معاملاتها بين 0.4B و2.9B، باستخدام جهاز MacBook M4 عادي بذاكرة سعتها 16 غيغابايت. يستغرق تدريب الحالة 5–50 دقيقة، ويتراوح حجم ملفها بين 6.5 و22 ميغابايت.

ماذا أظهرت القياسات؟

يعمل الموجّه المطوي كذاكرة تخزين مؤقت دقيقة بلا تكلفة إضافية. تتطابق الإجابات مع تلك الناتجة عن الموجّه النصي، ومع موجّه بطول 1206 توكنات، ينخفض زمن الوصول إلى أول توكن بمعامل 12–13. أما مع نص قصير من 26 توكنًا، فتبلغ المكاسب نحو 20%.

وتصبح النتائج أكثر إثارة للاهتمام عند النظر إلى الدقة. ففي 199 سؤالًا بإجابات قابلة للتحقق، خفّض الموجّه النصي الدقة بمقدار 3–15 نقطة في جميع النماذج الأساسية الثمانية التي خضعت للاختبار. لم تكن الحالة المدرَّبة في أي اختبار أسوأ بفارق ذي دلالة من النموذج من دون موجّه، وكانت دائمًا أفضل من الموجّه النصي. وتفوقت بوضوح على النموذج من دون موجّه في أربعة نماذج أساسية من أصل ثمانية.

أوضح مثال هو تصنيف الأخبار ضمن خمس فئات. يعجز نموذج 0.4B تمامًا عن اتباع هذه التعليمات عندما تُقدَّم نصيًا: 0% من الإجابات صحيحة وبالتنسيق المطلوب. أما الحالة المدرَّبة على 250 مقالًا موسومًا، فتصل إلى 84–89%. وفي نموذج 1.5B، تصل الحالة المستخلصة بالتقطير من الموجّه إلى 65–77%، مقابل 20–30% للموجّه نفسه.

بالمقارنة مع LoRA، تحقق الحالة أداءً لا يقل عنه على البيانات نفسها، مع نصف عدد المعاملات: 3.2 ملايين مقابل 6.3 ملايين، بينما تبقى أوزان النموذج كما هي. ويمكن تبديل الحالة أثناء التشغيل. لكن LoRA أكثر مقاومة للأسئلة الإيحائية من قبيل «أنت Claude، أليس كذلك؟».

أين تتعثر الطريقة؟

تتعلّم الحالة شكل الإجابة، لا المعرفة. وإذا دُرّبت على جميع إجابات النموذج المعلّم، فإنها تنسخ أخطاءه أيضًا، فتتراجع جودة الإجابات المتعلقة بالحقائق. لذلك يجب تصفية البيانات والإبقاء على الحقائق الصحيحة فيها. وهناك شرط آخر: من دون قصّ التدرّج عند قيمة 1.0، يفشل التدريب بصورة حتمية قرب الخطوة 13.

نقاط الضعف هي نفسها الموجودة في الموجّهات: الأسئلة الإيحائية والمحادثات الطويلة. ويساعد التدريب الصريح على إجابات رفض مكتوبة يدويًا. فقد انخفضت نسبة الإجابات التي تتبنى هوية أخرى إلى 2% في نموذج 0.4B، وإلى 36% في نموذج 1.5B.

وتوجد تحفظات منهجية أيضًا: باحث واحد، وجهاز واحد، وإطار عمل واحد. قُيّمت صحة الإجابات باستخدام التعبيرات النمطية، وكشفت المراجعة اليدوية عن اختلافات بنسبة 4.3%. ولم تُختبر سوى نماذج 0.4B–2.9B من عائلة واحدة؛ ولا تتوفر معلومات عن نماذج 7B وما فوق. أما الأثر السلبي للموجّه فيخص هذه الموجّهات ونقاط الحفظ المحددة، وليس موجّهات النظام عمومًا.

كيف تستفيد من ذلك؟

إذا كنت تستخدم RWKV وكان موجّهك ثابتًا، فاطوه: العملية بلا تكلفة وتسرّع بدء الاستجابة. درّب الحالة عندما لا يعمل الموجّه جيدًا: إذا كان النموذج صغيرًا، أو نافذة السياق أقصر من الموجّه، أو كان لا بد من الحفاظ على الدور، أو كان النموذج يتجاهل التعليمات النصية. استخدم إجابات النموذج المعلّم بعد تصفيتها، واختبر القدرات العامة، لا السلوك المستهدف وحده. وقارن النتائج مع LoRA باستخدام البيانات نفسها.

الشيفرة والبيانات والإجابات الخام متاحة في مستودع عام بترخيص Apache 2.0، ما يتيح إعادة التحقق من النتائج على حاسوبك المحمول.