SciGame يختبر خمسة وكلاء LLM: الصيغ المألوفة تعيق اكتشاف القوانين المعدَّلة

قدّم باحثون SciGame، وهو معيار اختبار (benchmark) يقيس ما إذا كان وكلاء LLM قادرين على اكتشاف القوانين العلمية، لا على تذكّرها من بيانات التدريب. يحوّل المؤلفون كل صيغة من مقالة علمية إلى «بطاقة» منظَّمة، ثم يبنون منها بيئتين بواجهة واحدة: أصلية ومضادة للواقع. في البيئة الثانية تتغير العلاقة بين المتغيرات، مع بقاء أبعاد الكميات متسقة. وإذا اعتمد الوكيل على ما حفظه، فسيخطئ في البيئة الثانية. وهذا ما أظهرته التجارب على خمسة نماذج متقدمة.

ما الذي كان ينقص المعايير السابقة

يحدد المؤلفون أربع مشكلات في الاختبارات القائمة. أولًا، كثيرًا ما تغيّر هذه الاختبارات المهمة وبروتوكول الملاحظات والمقياس في آن واحد، ولذلك لا يمكن مقارنة الأنماط على واجهة واحدة. ثانيًا، تقيّم مقاييس كثيرة مدى ملاءمة النموذج للبيانات، لا التنبؤ على مدخلات لم يرها، وقد ينال شرح معقول درجة عالية رغم أن المتنبّئ خاطئ. ثالثًا، معظم المجموعات ثابتة، وتكاد لا تحتوي على قوانين نُشرت بعد تاريخ انقطاع معرفة النموذج. رابعًا، تخلط المهام المبنية على المقالات بين اكتشاف القانون والبرمجة وإعادة إنتاج التجارب.

تعالج أعمال أخرى بعض هذه الجوانب: يدرس DiscoveryWorld وAuto-Discovery-Bench مراجعة الفرضيات واختيار التجارب، ويتناول LLM-SRBench البحث عن المعادلات، ويغيّر Gravity-Bench السياق الفيزيائي، ويختبر PaperBench إعادة إنتاج الأبحاث، ويبني SciLaws-Bench مهام انطلاقًا من المقالات. لكن أيًّا منها لا يقارن المهمة نفسها مع وجود مرشحين ودونهم. ففي SciLaws-Bench يستخدم نمطا Real وParallel بروتوكولات مختلفة للملاحظات والتقييم، ولذلك لا تصح مقارنة دقتهما.

كيف يجري الاختبار

تثبّت البطاقة العلاقة بين الكميات، والمعاملات، وتعريفات المتغيرات، ووحدات القياس، والنطاق المسموح للمدخلات، وشروط التطبيق. ومنها تُشتق بيئات بمحاكٍ حتمي (deterministic). وتُنشأ النسخة المضادة للواقع بتحويلات بنيوية على غرار NewtonBench (معيار اختبار بقوانين فيزيائية معدَّلة): تتغير المعاملات وأسس القوى، وتُضاف تحويلات غير خطية وتبعيات متقاطعة بين المدخلات. وتحقق المؤلفون من أن الصيغ المرجعية لكل بيئة لا تجتاز التقييم على ملاحظات البيئة المقابلة. وهذا يعني أنه يمكن التمييز بين البيئتين تجريبيًا.

تأتي المهام في نوعين. في Identification يختار الوكيل القانون من بين مرشحين: تُعطى له صيغة تجمع التعبيرين الأصلي والمضاد للواقع عبر معامل مجهول. يضبط المحاكي هذا المعامل دائمًا على صفر أو واحد، لكن الوكيل لا يُبلَّغ بذلك. أما في Discovery فلا يوجد مرشحون، ويجب بناء العلاقة بين المدخلات والمقادير الملحوظة انطلاقًا من الوصف والقيود والملاحظات. وفي الحالتين يسلّم الوكيل تعبيرات قابلة للتنفيذ، وشرحًا، وشروط التطبيق. وتنتج من كل عائلة مهام أربع مهام.

تُنفَّذ كل مهمة وفق ثلاثة بروتوكولات:

• Prior-only: لا توجد ملاحظات، ويعتمد الوكيل على معارف محفوظة؛
• Fixed: يتلقى الوكيل مجموعة ملاحظات محددة مسبقًا؛
• Adaptive: يقترح الوكيل التجارب بنفسه ويقرر متى يسلّم إجابته.

يضم المعيار مجموعتين. تحتوي Historical على قوانين كلاسيكية من تاريخ العلم بوصفها مراجع قابلة للتفسير. أما Temporal فتُبنى عبر خط معالجة (pipeline) يمكن إعادة تشغيله: لا تدخل فيها إلا المقالات التي يقع تاريخ نشرها في المجلة وتاريخ أول نسخة تمهيدية (preprint) لها بعد انقطاع معرفة النموذج المُقيَّم. يستخرج أحد نماذج LLM العلاقات الكمية، ويتحقق نموذج آخر بشكل مستقل من دقة البطاقات واكتمالها، ويصحح غير المكتملة أو يحذفها. وتُزاح النافذة الزمنية مع صدور نماذج جديدة، للحد من خطر الحفظ.

ماذا أظهرت التجارب

هناك ثلاثة تقييمات: دقة التنبؤ على المدخلات المخفية، ونجاح الحلقة وفق تسلسل هرمي، وتقييم الشرح بحسب معيار تقييم (rubric). ويخلص المؤلفون إلى ثلاث نتائج. الأولى: الصيغ المألوفة تفيد في القوانين الأصلية، لكنها تضر عندما تتغير العلاقة. الثانية: التجارب التكيفية مفيدة لأقوى النماذج، وتضر الضعيفة منها عندما تكون الميزانية محدودة. الثالثة: قد يخفي الشرح الجيد فشلًا كميًا، حين يكون النص مقنعًا بينما المتنبّئ مخطئ.

ويبقى استعادة الشكل الرمزي الدقيق للصيغة العائق الرئيسي، حتى لو فسّر الوكيل الملاحظات تفسيرًا صحيحًا. والتبعية الدالّية الخاطئة هي النوع الرئيس من الأخطاء. ويستنتج المؤلفون أن الوكلاء الحاليين قادرون على استكشاف الأنظمة بنشاط، لكن استنباط القوانين الدقيقة في ظروف غير مألوفة ما زال مسألة مفتوحة.

والخلاصة عملية لمطوّري الوكلاء العلميين. ينبغي قياس التنبؤ على المدخلات التي لم يرها الوكيل بشكل منفصل، وعدم اعتبار الشرح المتماسك نجاحًا. ومن المنطقي منح ميزانية التجارب التكيفية للنماذج التي تحسن إدارتها فقط. ولا تتضمن الجزء المتاح من المقالة جداول بالدرجات، ولذلك لا يمكن مقارنة نماذج بعينها بالأرقام. وقد نشر المؤلفون الشيفرة والبيانات.