معيار SciΠvot: أفضل LLM تختار الخطة الصحيحة في 63.5% من الحالات مقابل 73.4% لدى البشر

يستطيع الوكلاء المبنيون على LLM إجراء تجارب علمية على مدى أشهر بمشاركة بشرية شبه معدومة، لكنهم يفتقرون إلى الحكم السليم عند مفترقات القرار. جمع مؤلفو معيار SciΠvot 248 حالة صحّح فيها باحثون كبار مسار الوكلاء، ثم اختبروا ما إذا كان النموذج سيختار تصحيح الإنسان. وبلغت أفضل نتيجة بين النماذج المختبرة في وضع سياق المشروع 63.5%. أما الباحثون الجدد الذين اطلعوا على المادة نفسها فسجّلوا 73.4%. وجاءت أربعة من أصل خمسة نماذج frontier دون مستوى التخمين العشوائي في الحالات المنتقاة.

كيف صُمم الاختبار

البيانات مأخوذة من عمل حقيقي. فعلى مدى ستة أشهر شغّل باحثون كبار وكلاء LLM على 26 مشروعاً في ست مجالات علمية، وتدخلوا بانتظام كلما اتخذ الوكيل قراراً بحثياً غير موفّق. وتحوّل كل تدخل إلى حالة اختبار. أمام النموذج خياران: الخطة الأصلية التي وضعها LLM، وبديل صحّحه الإنسان. والسياق الوحيد المتاح هو سجل المشروع الذي كان موجوداً قبل لحظة التصحيح، ولذلك لا يمكن للنموذج الاطلاع على النتائج اللاحقة.

يزيل هذا التصميم أكبر صعوبة في تقييم الحكم العلمي. فالقرارات البحثية مفتوحة وتعتمد على تاريخ المشروع، ولذلك لا توجد لها إجابة مرجعية واحدة. أما هنا فالمرجع هو اختيار الإنسان في موقف محدد أخطأ فيه الوكيل بالفعل.

• الحجم: 248 حالة من 26 مشروعاً، 6 مجالات علمية
• الصيغة: الاختيار بين خطة LLM والنسخة التي صحّحها الإنسان
• أفضل دقة للنماذج مع سجل المشروع: 63.5%
• دقة الباحثين الجدد: 73.4%
• نماذج frontier دون المستوى العشوائي في الحالات المنتقاة: 4 من 5
• العوامل المختبرة: جهد الاستدلال، والوصول إلى سجل المشروع، وإعادة التفكير

ماذا أظهرت النتائج

عند مستوى استدلال متوسط ومع إتاحة سجل المشروع، تفضّل النماذج بشكل منهجي الخطة الأصلية لـ LLM. ويسمّي المؤلفون ذلك انحيازاً: فالخيار الشبيه بأسلوب تفكير النموذج نفسه يبدو له أكثر معقولية. ولا يتضمن الوصف بيانات مباشرة عن السبب، لكن الصورة تتسق مع الميل المعروف لدى النماذج اللغوية إلى استحسان نص قريب مما كانت ستكتبه بنفسها.

النتيجة الثانية غير المتوقعة تخص السياق. يُفترض أن يساعد سجل المشروع، ففيه الأهداف والتجارب السابقة والقيود. لكن عملياً، عند جهد استدلال متوسط، كان كل نموذج أدق بدون السجل منه معه. فالتاريخ الطويل للمشروع لا يتحول إلى قرار أفضل، وربما يرسّخ المنطق الذي قاد الوكيل إلى الخطأ.

وإعادة التفكير لا تنقذ الوضع أيضاً. فإعادة النظر لا تمنح زيادة ثابتة في الدقة الإجمالية. ويواجه النموذج صعوبة حتى في موقف مريح: البديل الصحيح أمامه على الطاولة، ومع ذلك يبقى اختياره ضعيفاً. وتبلغ الفجوة مع البشر نحو عشر نقاط مئوية، علماً أن البشر في الاختبار كانوا باحثين جدداً وليسوا أصحاب التصحيحات.

ماذا على الفرق التي تبني الوكلاء أن تفعل

الاستنتاج الأول: لا يمكن تقييم الاستقلالية على المدى الطويل بمجرد أن الوكيل أتمّ التجربة حتى النهاية. فأشهر العمل المتواصل لا تقول شيئاً عن جودة القرارات عند مفترقات الطرق. وينبغي وضع نقاط تحقق بمشاركة الإنسان تحديداً حيث يغيّر الوكيل الفرضية أو تصميم التجربة أو معيار النجاح.

الاستنتاج الثاني: لا ينبغي اعتبار التحقق الذاتي الذي يجريه الوكيل مستقلاً. فإذا كان النموذج يفضّل خططه الخاصة، فإن مخطط «الوكيل يقترح ثم الوكيل نفسه ينتقد» سيفوّت جزءاً من الأخطاء. والمطلوب مراجع خارجي: إنسان أو نموذج بصياغة مختلفة للمهمة.

الاستنتاج الثالث عملي. فكل فريق يشغّل وكلاء بحثيين يراكم سجلاً للتصحيحات، وهذا السجل يصلح بالفعل معياراً داخلياً وفق مخطط SciΠvot. وتوفّر أزواج «خطة الوكيل — تصحيح الإنسان» اختباراً صادقاً على بياناتكم قبل توسيع الاستقلالية. أما السياق الإضافي والمزيد من الاستدلال فينبغي اختبارهما كلاً على حدة، لا قبولهما على الثقة، فبحسب هذه البيانات لا يضمنان التحسّن.