Claude Opus 5 بنى خطوط أساس بسيطة استعادت 95,5% من الفجوة مع نماذج التعلم العميق المنشورة في Nature وScience

اقترح فريق من Carnegie Mellon University التحقق من الأبحاث العلمية اللافتة في مجال التعلم العميق عبر نموذج لغوي يبني لها خطوط أساس بسيطة بشكل تلقائي. في التجربة، تلقى Claude Opus 5 36 مهمة مأخوذة من أبحاث منشورة في Nature وScience ومجلات عائلة Cell، وكتب لكل مهمة سكربتًا بنموذج بسيط. جاءت النتيجة الوسيطة مرتفعة على نحو غير متوقع: أغلقت خطوط الأساس 95,5% من الفجوة بين المتنبئ البديهي والشبكة العصبية المنشورة، فيما بلغ المتوسط عبر المهام 85,7%. وفي 12 مهمة من أصل 36، ساوى النموذج البسيط التعلم العميق أو تفوّق عليه.

كيف قيست قوة خط الأساس

قدّم المؤلفون مقياس Simple Baseline Strength (SBS). وهو نسبة بلا وحدة تمتد من نتيجة المتنبئ البديهي (قيمة ثابتة، مثل متوسط الهدف أو الفئة الأكثر تكرارًا) إلى نتيجة نموذج DL المنشور. تعني القيمة 0 أن خط الأساس ليس أفضل من المتنبئ البديهي. وتعني القيمة 1 أنه ساوى الشبكة العصبية، وأي قيمة أكبر من 1 تعني أنه تفوّق عليها. ويتيح هذا التطبيع مقارنة مهام ذات مقاييس مختلفة. أما في المقاييس التي تكون فيها القيمة الأصغر هي الأفضل، فتعمل الصيغة بالطريقة نفسها.

اختير المهام من أبحاث مفتوحة نُشرت بين 31 يناير 2024 و18 سبتمبر 2026. وكان الشرط توافر بيانات عامة، ولذلك تعكس العينة فقط الدراسات التي أتاحت مجموعات بياناتها. وتغطي العينة ثمانية مجالات علمية، بما لا يقل عن ثلاث مهام في كل مجال، وثلاث مهام على الأقل من كل مجلة من مجلات عائلة Nature. ولم تُستخدم نتائج خطوط الأساس عند اختيار المهام.

جرت كل محاولة داخل حاوية بلا اتصال بالشبكة، باستثناء الوصول إلى API الخاص بمزوّد النموذج. وحُفظت تسميات الاختبار وملفات النتائج خارج الحاوية. كتب الوكيل سكربتًا واحدًا وشغّله بحد أقصى 30 دقيقة، على CPU فقط ودون أوزان مدرَّبة مسبقًا، لأن نقاط الحفظ (checkpoints) المدرَّبة على بيانات مفتوحة قد تكون اطّلعت على عينة الاختبار. طلب الـprompt «خط أساس معقولًا» وليس بالضرورة الأبسط، ولذلك سُمح باستخدام الشبكات العصبية. وفي المحصلة، من بين 157 سكربتًا قابلًا للتقييم، استخدم 47 منها PyTorch، واستخدم 85 التعزيز التدرّجي (gradient boosting) فوق الأشجار.

أين أخفقت النماذج البسيطة

تكررت كل مهمة خمس مرات. من أصل 180 محاولة، أنتجت 157 تنبؤات صالحة، وسجّلت 16 مهمة محاولة فاشلة واحدة على الأقل، وبقي لدى ثلاث مهام ما لا يزيد على تشغيلين قابلين للتقييم. وإذا احتُسبت المحاولات الفاشلة أصفارًا، ينخفض المتوسط إلى 79,6% بينما يبقى الوسيط 95,5%.

سجّلت ست مهام وسيط SBS دون 0,5. وكانت لدى المهام الست جميعها محاولة فاشلة واحدة على الأقل. وفي المهام الست كلها، لم يُعطَ الوكيل خصائص جدولية، بل تسلسلات خام أو أوصافًا نصية للبنى أو إحداثيات ذرية. لكن لا يمكن تفسير الإخفاق بنوع المدخلات وحده: فقد جاءت عدة مهام ببيانات مماثلة قرب 1 أو أعلى منه. وفي مهمتين من الست، بُني الوسيط على تكرارين قابلين للتقييم فقط. كما أن تقييم التحقق الذي يجريه الوكيل نفسه لا يرتبط بتقييم الاختبار إلا ارتباطًا تقريبيًا، بينما تعطي تكرارات المهمة الواحدة عادةً نتائج متقاربة.

قارن المؤلفون أيضًا أنظمة بأحجام حوسبة مختلفة على مجموعة منفصلة من تسع مهام. وجرى جزء من هذه التشغيلات على إصدارات أقدم من البيئة كانت وثائق المهام فيها مخفية، ولذلك تتطلب المقارنة المباشرة حذرًا. كما يتناولون تأثير مستوى سياق البحث، لكن النص المتاح لا يتضمن أرقامًا بشأنه. ولم يختبر المؤلفون الفروق بين المجلات والمجالات، ولا يستخلصون استنتاجات من ترتيبها: فالمجموعات قليلة، من ثلاث إلى ست مهام لكل مجال.

لماذا يهمّ هذا المراجعين

الدافع هو أن مراجعة الأقران لا تواكب تدفق الأبحاث. فقد أعلنت Springer Nature عن 3,1 مليون بحث مقدَّم في عام 2025، بزيادة 30% عن العام السابق. وارتفع عدد الطلبات المقدَّمة إلى ICLR من 11 603 إلى 19 525، وإلى NeurIPS من 9 467 في عام 2020 إلى 21 575 في عام 2025. وفي arXiv ارتفع عدد الأبحاث خلال 2023–2025 بنسبة 36,4%، من 208 493 إلى 284 486.

وقد شوّهت خطوط الأساس المغفلة الصورة بالفعل: ففي التنبؤ باستجابة الخلايا للاضطرابات، لم تتفوق خمسة نماذج تأسيسية على الأساليب البسيطة، وفي التنبؤ طويل المدى بالسلاسل الزمنية تفوقت نماذج خطية ذات طبقة واحدة على Transformer في تسع مجموعات بيانات، وفي 45 مجموعة بيانات جدولية بقيت الأشجار أقوى من الشبكات العصبية.

والخلاصة العملية للمؤلفين والمراجعين: يمكن تشغيل خط أساس تلقائي كفحص منخفض الكلفة للتحسّن المعلن في الجودة. ولا يثبت ذلك أن طريقة DL عديمة الفائدة، فقد تمنح ميزة في قابلية التفسير أو على بيانات أخرى. لكن إذا كان نموذج بسيط على CPU يستعيد في 30 دقيقة معظم الفجوة تقريبًا، فعلى المؤلفين أن يوضحوا ما الذي يبرر فعلًا اللجوء إلى بنية معقدة.