GPT-6 Astra تعدّل 0.016% من أوزان Qwen وترفع الدقة إلى 48.1%

عندما يدخل نموذج لغوي صغير في حلقة مفرغة، أو يخطئ في الحساب، أو يتجاهل التعليمات، فإن الوصفة المعتادة معروفة: جمع البيانات، وتشغيل إعادة التدريب، ثم التحقق من أن شيئًا آخر لم يتعطل. أظهر باحثون من MIT نهجًا مختلفًا. حصلت GPT-6 Astra على أوزان النموذج، وعثرت على الجزء المرتبط بالخلل، وأعادت كتابة جزء ضئيل من المعاملات. في تجربة على Qwen3.5-0.8B، أدى تغيير 0.016% فقط من الأوزان إلى رفع الدقة على MATH-500 من 7.9% إلى 48.1%.

هذا ليس زرًّا سحريًا ولا بديلًا عن التدريب. لكن بالنسبة للفرق التي تدير نماذجها الخاصة، الفكرة عملية جدًا: فبدلًا من تشغيل عملية مكلفة على مجموعة البيانات بأكملها، يمكن محاولة العثور على عيب داخلي محدد وإصلاحه بدقة موضعية.

كيف يبرمج نموذجٌ نموذجًا آخر

أوزان الشبكة العصبية جداول ضخمة من الأرقام. وعادةً لا يستطيع الإنسان أن ينظر إليها ليفهم ما تعلّمته الشبكة أو لماذا تتصرف على نحو معيّن. في التجارب نجحت Astra في جزء من هذه المهام: حدّدت اللعبة التي دُرّبت عليها شبكة صغيرة، وتعرّفت على نوع صور مولّد، وطابقت نماذج لغوية صغيرة مع اللغات التي دُرّبت عليها. وكل ذلك دون بيانات التدريب الأصلية، وأحيانًا دون تشغيل النموذج نفسه.

أوضح مثال هو ألعاب الحاسوب البسيطة. زوّد الباحثون Astra بالقواعد والشيفرة، ثم أنشأت مباشرة أوزان شبكات الألعاب. في لعبة Breakout حصلت هذه الشبكة في المتوسط على 517 نقطة مقابل 25 للنموذج الأساسي الذي دُرّب بالطريقة المعتادة على أكثر من 100 مليون جولة. غير أنه في لعبتين أخريين تفوّقت النماذج الأطول تدريبًا. أي أن الأمر لا يتعلق بعد بالتفوق على التعلّم التقليدي، بل بطريقة جديدة للعمل مع المهام الصغيرة المحدودة بوضوح.

وفي تجربة لعبة الغو على لوحة 9×9، تحكمت Astra في شبكة تضم نحو 1.5 مليون معامل. مُنحت 50 تكرارًا: في كل منها لعبت الشبكة حتى 128 مباراة تدريبية، وكانت Astra تدرس النتيجة وتعدّل الأوزان. وتفوّق النموذج الناتج على شبكة مماثلة الحجم دُرّبت على نحو 20 مليون مباراة.

ما الذي حدث مع Qwen

كانت لدى Qwen3.5-0.8B مشكلة مألوفة: قد يدخل النموذج في حلقة ويكرر استدلاله دون أن يصل إلى إجابة. حصلت Astra على بيئة للعمل مع الشيفرة، ومهام تدريبية، و50 محاولة للإصلاح. وجرى التحقق من النتيجة على أمثلة أخرى لم ترها أثناء الضبط.

بعد تغيير 0.016% من المعاملات، ارتفعت الدقة على MATH-500 من 7.9% إلى 48.1%، ومؤشر اتباع التعليمات من 21% إلى 62%. وانخفضت نسبة الإجابات التي بلغت الحد الأقصى للطول من 93% إلى نحو 33%. وما زالت هذه نسبة كبيرة، لذا من المبكر اعتبار المشكلة محلولة.

والنتيجة السلبية دالّة أيضًا. ففي Gemma 3 270M، التي كانت تعاني قليلًا من هذه الحلقات، لم تتمكن Astra من تحقيق تحسّن قابل للقياس. ويفترض المؤلفون أن Qwen كان يمتلك أصلًا القدرات الرياضية اللازمة، لكن خللًا داخليًا كان يمنعه من استخدامها. أزالت Astra هذا «المكبح» ولم تضف إلى النموذج مهارة جديدة.

ماذا يفعل المطورون

حتى الآن ينبغي النظر إلى Weight-Space Programming بوصفها أداة بحثية. قد تفيد في اكتشاف العيوب، وتدقيق الأمان، والتصحيح الموضعي لسلوك النماذج الصغيرة. لكن من المبكر نقل النتائج إلى نماذج LLM الإنتاجية الكبيرة: فالتجارب محدودة، ولا يوجد اختبار شامل بعد، وتطلبت بعض المهام تشغيل النموذج والحصول على تغذية راجعة بالنتائج.

والخلاصة العملية بسيطة. إذا كان لدى فريق نموذج صغير متخصص، فعليه متابعة هذا الاتجاه والاحتفاظ باختبارات سلوكية مفصلة، فهي التي تتيح معرفة ما إذا كان الإصلاح أفضل من إعادة التدريب الكاملة. لكن لا يجوز تغيير أوزان نموذج يعمل في الإنتاج دون تقييم مستقل واختبارات انحدار وإمكانية التراجع. يبدو الإصلاح الموضعي أرخص من التدريب، لكن ثمن الخطأ لا يختفي.