عدّلت GPT-6 Astra نسبة 0.016% من أوزان Qwen ورفعت نتيجته في MATH-500 من 7.9% إلى 48.1%

تعاني نماذج الاستدلال الصغيرة مشكلة مألوفة لدى المطورين: فقد تعثر على المسار الصحيح، ثم تعود إلى الدوران في حلقة، وتكرر خطوة سبق تنفيذها، ولا تقدم إجابة في النهاية. عادة ما تعالج هذه المشكلة بتدريب إضافي أو انتقاء البيانات أو ضبط الموجّه. لكن التجربة الموصوفة اختارت مسارا أكثر مباشرة: حللت GPT-6 Astra الكبيرة خلل Qwen 0.8B واقترحت تغيير أرقام محددة داخل النموذج نفسه.

بعد تعديل 0.016% فقط من الأوزان، ارتفعت نتيجة Qwen في الاختبار الرياضي MATH-500 من 7.9% إلى 48.1%. وإذا أمكن تكرار هذه الأرقام بصورة مستقلة، فسنكون أمام تحول مثير للاهتمام: إذ لا تؤدي الشبكة العصبية هنا دور مساعد للمبرمج فحسب، بل تصبح أيضا أداة لتشخيص شبكة عصبية أخرى وتحريرها.

ما الذي جرى إصلاحه تحديدا

تخيل دالة تستطيع حل مسألة، لكنها تعود دوريا إلى الخطوة السابقة بسبب شرط واحد سيئ التصميم. لا يعيد المطور كتابة البرنامج بأكمله، بل يحدد الفرع الذي ينشئ الحلقة ويغيّر بضعة أسطر. الفكرة مشابهة مع أوزان نموذج اللغة، وإن كانت أكثر تعقيدا بكثير من الناحية التقنية.

درست Astra الحالات التي كان Qwen يدخل فيها في حلقة أثناء الاستدلال، وربطت هذا السلوك بمعلمات محددة، ثم حسبت لها قيما جديدة. بعد ذلك عُدّلت الأوزان مباشرة عبر محرر نصي للنموذج. ولم تكن هناك حاجة إلى دورة تدريب كاملة تضم مجموعة كبيرة من الأمثلة، ومحسّنا، وعددا كبيرا من التمريرات.

شمل التعديل نحو جزء واحد من ستة آلاف من جميع المعلمات. وأصبح النموذج يكرر الاستدلال بوتيرة أقل، ويكمل الحل حتى الإجابة النهائية بوتيرة أعلى. ووفقا للتحليل المنشور، كان هذا تحديدا ما أدى إلى زيادة حصة المسائل المحلولة في MATH-500 بمقدار ستة أضعاف.

لماذا يهم ذلك المطورين

يشبه إصلاح نموذج اليوم عادة إصدار نسخة جديدة من المنتج بأكمله. إذ يجب جمع البيانات، وتشغيل التدريب، وفحص عشرات المؤشرات، والتأكد من أن تحسين قدرة واحدة لم يفسد القدرات الأخرى. وهذه عملية مكلفة وبطيئة ولا تناسب العيوب الموضعية، مثل الميل إلى التكرار أو سوء التعامل مع فئة واحدة من التعليمات.

يعد التحرير الدقيق للأوزان بسير عمل مختلف. يعيد الفريق أولا إنتاج خلل محدد، ثم يطلب من نموذج أقوى تحديد موضعه داخل النموذج الأضعف، ويكوّن مجموعة صغيرة من التغييرات. ويمكن حفظ مثل هذا التصحيح ومقارنته والتراجع عنه كما لو كان تعديلا في الشيفرة. وهذا جذاب خصوصا لصنّاع النماذج المحلية: فبدلا من إجراء تدريب جديد، يمكنهم محاولة إصلاح عطل محدود في غضون ساعات.

وهناك سيناريو أوسع أيضا. فإذا تعلمت الطريقة ربط السلوك المرصود بصورة موثوقة بأجزاء صغيرة من الأوزان، فقد تظهر أدوات لتصحيح النماذج تلقائيا: يكتشف اختبار انحدارا، ويقترح نظام تشخيص تصحيحا، ثم تبحث مجموعة مستقلة من الاختبارات عن الآثار الجانبية. وهذا يشبه بالفعل خط تطوير البرمجيات المعتاد.

أين ينتهي العرض المثير للإعجاب

لا تكفي نتيجة واحدة على Qwen 0.8B وMATH-500 لإثبات أن الأسلوب يعمل بالكفاءة نفسها على النماذج الكبيرة أو في البرمجة أو الحوارات أو المهام القائمة على الحقائق. فقد تخفي زيادة مقياس الاختبار تراجعا في جوانب أخرى. وربما أصبح النموذج أفضل تحديدا في صيغة مسائل MATH-500، لكنه فقد قدرته على تحمل الصياغات غير المألوفة.

كما أن حدود التشخيص غير واضحة. فالعثور على المعلمات المرتبطة بنمط متكرر أسهل من إصلاح معرفة موزعة في أنحاء الشبكة أو سلوك معقد. إضافة إلى ذلك، يتطلب تعديل الأوزان تلقائيا رقابة صارمة: فقد يقترح نموذج قوي تصحيحا يجتاز الاختبار المستهدف، لكنه ينشئ ثغرة خفية أو يغيّر الإجابات خارج المجموعة التي خضعت للفحص.

الخلاصة العملية بسيطة: لا يمثل هذا حتى الآن بديلا للتدريب، بل أداة جديدة للمختبر. وينبغي للفرق التي تعمل مع النماذج المفتوحة تكرار التجربة على أعطالها الخاصة، والاحتفاظ بالأوزان الأصلية، واختبار التصحيح على مجموعة واسعة من المهام. ولا تكمن الفكرة الأهم هنا في الرقم القياسي، بل في تغير النهج: فقد يصبح من الممكن إصلاح بعض عيوب الشبكات العصبية موضعيا، بالطريقة نفسها تقريبا التي تُصلح بها الأخطاء البرمجية.