Claude عدّل 165 وزناً في نموذج طبي خلال ساعة ورفع الاستدعاء من 76 إلى 90%

قبل أسبوعين، نشر MIT بحث Sparks of Weight-Space Programming: يحصل نموذج LLM على ملف أوزان لنموذج آخر، ويفهم بنيته ويعدّله من دون تدريب. وكانت النتيجة الأبرز قفزة نموذج Qwen صغير في مسائل الرياضيات المدرسية من 7.9% إلى 48.1% من الإجابات الصحيحة. وقررت متخصصة منتجات تعمل في البحث والتطوير بقطاع MedTech اختبار الفكرة على نموذج طبي. نجحت التجربة، لكن مع تحفظات أهم من النجاح نفسه.

ما طبيعة التجربة؟

استخدمت التجربة OpenSpliceAI، وهو إصدار مفتوح من SpliceAI. تفحص هذه الشبكة مقطعاً من الحمض النووي وتتنبأ بالمواضع التي «يُقطع» عندها الجين أثناء تجميع البروتين. ولتقييم طفرة، يُشغّل النموذج مرتين، مرة على التسلسل الأصلي ومرة على التسلسل المعدّل، ثم تُقارن الإجابتان. ويُستخدم هذا التقييم في توصيات ClinGen، ما يعني أن استنتاجات مختبرات وراثية حقيقية تعتمد عليه. النموذج صغير، إذ يضم 699 ألف مُعامل، ويعمل على حاسوب محمول من دون GPU. كما أن ترخيصه مفتوح، بخلاف النموذج الأصلي.

أُسندت إلى Claude Opus 5.5 مهمة تحسين التمييز بين الطفرات الخطرة والحميدة الواردة في ClinVar. ولم يكن مسموحاً له بتدريب النموذج أو تجربة القيم آلياً. وأُجري الاختبار على كروموسومات لم يرها Claude، مع مراقبة الأداء الأساسي للنموذج للتأكد من عدم تراجعه.

ما الذي اكتشفه Claude؟

الجانب الأكثر إثارة للاهتمام ليس التعديل، بل التشخيص. يحدد النموذج مواقع الوصل الحقيقية باحتمال يقارب 99%. وتخفض الطفرة الخطرة مستوى الثقة بوضوح داخل الشبكة، لكن ذلك يكاد لا يظهر عند المخرج: فعند هذه القيم يكون منحنى الاحتمال مسطحاً. النموذج «يعرف» أن الموقع تضرر، لكن النتيجة النهائية لا تُظهر ذلك.

كان العلاج بسيطاً. ضرب Claude قيم logits في الطبقة الأخيرة في 0.35، أي رفع درجة حرارة softmax، ثم ضاعف الإشارة القادمة من منطقة الحمض النووي القريبة من موقع الوصل. تعديلان فقط شملا 165 وزناً. وفي الاختبار المخفي، ارتفعت AUPRC من 0.939 إلى 0.975، كما ارتفعت نسبة الطفرات الخطرة المكتشفة، مع ثبات عدد النتائج الإيجابية الكاذبة، من 76% إلى 90%.

المفاجأة: التدرج ليس أسوأ

بعد ذلك، اختبرت صاحبة التجربة البدائل بموضوعية. فقد جاء 86% من التحسن من تعديل درجة الحرارة وحده، وكان من الممكن لبحث شامل بسيط العثور على القيمة نفسها. وحقق الضبط الدقيق التقليدي للأوزان نفسها قيمة AUPRC بين 0.970 و0.971، أي ضمن هامش الخطأ مقارنة بنتيجة Claude. أما تجميع خمس نسخ من النموذج فحقق 0.953، وهنا تفوق Claude. وحدث الأمر نفسه في تجربة MIT: إذا عُطّل نمط الاستدلال في نموذج Qwen الأصلي، فإنه يحقق بمفرده نحو 46%. فالتعديل يزيل الدوران المتكرر، ولا يعلّم النموذج الرياضيات.

النتيجة تعادل وفق المقياس. أما من حيث الفهم، فيتفوق Claude: فالتدرج يقدّم أوزاناً جديدة ويلتزم الصمت حيال الأسباب، بينما شرح نموذج LLM خلال ساعة ما الذي يفسد النتيجة وأين يمكن إصلاحه.

القيود

• تجربة واحدة، ونموذج واحد، وتشغيل واحد لـ Claude.
• تغيّر مقياس الاحتمالات، لذلك لم تعد العتبات السريرية تعمل: عند عتبة 0.8، يكتشف النموذج 15% من الطفرات الخطرة بدلاً من 49%. وتلزم إعادة معايرة.
• حيلة درجة الحرارة خاصة بهذه الحالة: فالنتيجة هنا هي الفرق بين احتمالين، ولن تقدم شيئاً في مصنّف تقليدي.
• كان جزء من تسميات ClinVar يعتمد أصلاً على SpliceAI.
• لم يكتسب النموذج مهارة جديدة: فالطفرات التي لم يكن يتعرف عليها ما زالت تفوته.

ما الذي ينبغي فعله عملياً؟

لا ينبغي توقع أن يعيد نموذج LLM «توصيل» أوزانك بصورة أفضل من التدرج. لكنه مفيد كأداة لتصحيح الأخطاء: اطلب منه قراءة الشبكة، والعثور على الموضع الذي تضيع فيه الإشارة، واقتراح فرضية. ثم اختبر هذه الفرضية ببحث شامل منخفض التكلفة وبالضبط الدقيق. وإذا كان إعداد بسيط يحقق 86% من الأثر، فقد يكون هو كل ما تحتاج إليه، بينما تكمن قيمة الوكيل في أنه شرح السبب. نُشرت الشفرة والجداول على GitHub، ويمكن تكرار التجربة على CPU.