Steering vectors أثناء ضبط LLM تحسّن SFT والتقطير على ثلاث بذور عشوائية

Steering vector هو اتجاه في residual stream (تيار الحالات المخفية) داخل المحوّل (Transformer): إذا أُضيف إلى الحالة المخفية أثناء التوليد، تحوّل سلوك النموذج المجمَّد في اتجاه يمكن التنبؤ به. حتى الآن لم تُستخدم هذه المتجهات إلا أداةَ توجيه أثناء الاستدلال. اختبر باحث مستقل (لم يُنجَز العمل في إطار وظيفته في Amazon) ما إذا كان المتجه نفسه قادرًا على توجيه تحديثات المعلمات ذاتها في مرحلة ما بعد التدريب.

تقارن الورقة بين SFT التقليدي (supervised fine-tuning، أي الضبط على إجابات مرجعية) والتقطير من جهة، ونسخ منهما أُضيف فيها المتجه إلى التدريب من جهة أخرى، كما تتناول RL بمكافأة قابلة للتحقق مبنيًّا على GRPO. تكرر التحسن على SFT التقليدي والتقطير على ثلاث بذور عشوائية، أي ثلاث عمليات تشغيل مستقلة بتهيئة مختلفة، لكن المنهج لا يعمل إلا في شروط معيّنة.

كيف يدخل المتجه في SFT والتقطير

المشكلة التي يستهدفها العمل هي فجوة off-policy. في التدريب بأسلوب teacher-forced يُحسِّن النموذج أداءه على مسارات مرجعية من مجموعة البيانات أو من المعلّم، لا على المسارات التي تنتجها سياسته الخاصة. لهذا يسلك النموذج سلوكًا مختلفًا في التدريب وفي الاستدلال.

يبني الباحث المتجه من هذه الفجوة نفسها. قبل التدريب يأخذ الإكمال الجشع (greedy) للنموذج الأصلي والإكمال المرجعي، ويمرر كليهما عبر النموذج، ثم يحسب متوسط الحالات المخفية على رموز الإجابة. يحدد الفرق بين هذه الحالات في طبقة مختارة اتجاهًا «من موضع النموذج الحالي إلى موضع المرجع». يمكن حساب المتجه لكل prompt على حدة أو أخذ متوسطه على مجموعة البيانات. يُحسب مرة واحدة قبل التدريب ولا يُعاد حسابه، لذلك لا يلاحق الاتجاه سياسةً تتغير باستمرار.

يُضاف المتجه في طبقة وسطى، فالأعمال السابقة تُظهر أن منتصف البنية هو الأنسب للتدخل في السلوك. ويقع الحقن على رموز الإجابة فقط، لأن الخسارة (loss) تُحسب هناك، ولا فائدة من تشويه الترميز العام للـ prompt. جرى اختبار عمليتين: الجمع البسيط، والاستيفاء الكروي Slerp الذي يدير الحالة المخفية نحو الاتجاه المستهدف عبر أقصر قوس دون أن يغيّر معيارها (norm).

وفي المحصلة حسّنت إضافة المتجه النتيجة عمومًا مقارنةً بـ SFT التقليدي والتقطير. يزداد المكسب مع اتساع فجوة off-policy، ويبلغ ذروته عند التقطير من معلّمين في وضع thinking. لا يورد النص المتاح النسبة المئوية المحددة لأقصى مكسب. والمتجهات المحسوبة لكل prompt لا تقل أداءً عن المتوسطات العامة، أو تتفوق عليها.

SV-Rescue: إعادة التدرّج إلى GRPO

في الوضع الثاني يُدمج المتجه في RL بمكافأة قابلة للتحقق. لدى GRPO ضعف معروف: إذا كانت كل إجابات المجموعة عن prompt ما خاطئة، تساوي قيم المزايا (advantage) صفرًا، ولا يولّد هذا الـ prompt أي تدرّج. يستخدم الباحث اتجاه «تباين الصحة»، أي الفرق بين الإجابات الصحيحة والخاطئة، ويطبقه لإصلاح advantage في rollouts الخاطئة. سُمّي المنهج SV-Rescue.

يعيد المنهج إشارة التعلّم حتى في المجموعات التي «كل إجاباتها خاطئة»، وتنتقل هذه الإشارة إلى معايير رياضيات مستبقاة (held-out). ولأن المنهج يزيح advantage الإجابات الخاطئة فقط، فإنه يتكامل مع الوسائل القائمة لمعالجة التباين الصفري: أخذ العينات الديناميكي، وتشكيل advantage بالإنتروبيا، وخلط rollouts مرجعية.

أين يفشل المنهج

يصف الباحث ثلاثة حدود للتطبيق. الأول هو توليد الكود: يتعارض الاتجاه المرجعي مع اتجاه اجتياز الاختبارات، فيتوقف المتجه عن المساعدة. الثاني هو نقل الطبقة بين عائلات النماذج: الطبقة الناجحة في عائلة واحدة تفشل في عائلة أخرى، ولذلك يجب اختيار الطبقة من جديد. الثالث هو تطبيق المتجه أثناء الاستدلال على checkpoint سبق تدريبه به: هذا لا يعزز المكسب بل يلغيه.

الخلاصة حذرة: يمكن اعتبار steering vector إشارة تدريب مشروطة لكنها فعّالة في مرحلة ما بعد تدريب LLM. فهو يتطلب ضبط الطبقة ووضع التدخل بما يناسب النموذج والمهمة المحددين، ولا يصلح حتى الآن للكود. ويصف الباحث عمله بأنه أول دراسة منهجية لهذه المتجهات بوصفها إشارة تدريب دائمة، وليس مجرد أداة توجيه أثناء الاستدلال.