وكلاء الذكاء الاصطناعي يعيدون فحص أكثر من 2000 ورقة بحثية في ICML 2026 ويكشفون أخطاء فاتت المراجعين

يقوم التحكيم في كبرى مؤتمرات تعلّم الآلة إلى حد بعيد على الثقة. يتلقى المراجع عدة أوراق بحثية، ولديه أسبوعان تقريبًا، وعادةً لن يشغّل كود غيره لمجرد التحقق من جدول واحد. وفي صيف 2026 قرروا اختبار ذلك مباشرة، فاستعانوا بوكلاء الذكاء الاصطناعي.

ما الذي حدث

نظّمت Hugging Face بالتعاون مع alphaXiv، وهي خدمة لمناقشة المنشورات العلمية، هاكاثون ICML 2026 Open Reproductions. كانت المهمة أخذ الأعمال المقبولة في المؤتمر (وكان عددها أكثر من ألفين) ومحاولة إعادة إنتاج النتائج المعلنة. أنجز المشاركون ذلك بمساعدة وكلاء الذكاء الاصطناعي. وظهرت في الأوراق أخطاء لم ينتبه إليها المراجعون.

يُعد ICML من أهم مؤتمرات تعلّم الآلة، وغالبًا ما يُنظر إلى الورقة المقبولة فيه كعلامة جودة. لكن المراجع يرى ملف PDF فقط، أما الكود المرفق فكثيرًا ما يبقى دون تشغيل: فلا الوقت يكفي ولا الحوافز.

ومن المهم ذكر ما لا يرد في الإعلان الأصلي. لم يُذكر كم عملًا أمكن إعادة إنتاجه بالكامل، ولا كم خطأً عُثر عليه، ولا مدى خطورته: هل هو خطأ مطبعي في معادلة أم نتيجة تنهار عند الفحص. وبدون هذه الأرقام من المبكر القول إن الوكلاء «دحضوا» نسبة ما من العلم. لكن الصيغة نفسها دالّة: فإعادة فحص ألفي ورقة كانت تصطدم سابقًا بنقص الأشخاص والوقت.

كيف يعمل ذلك عمليًا

المخطط بالنسبة إلى الوكيل تقريبًا كالتالي: قراءة الورقة، وإيجاد المستودع أو استعادة الطريقة من الوصف، وتشغيل الكود، والحصول على الأرقام ومقارنتها بجدول النص. كل خطوة منفردة مملة، لكن النتائج تنكسر عند هذه الخطوات تحديدًا.

لنفترض أن ورقة تعلن تحسنًا قدره 3 نقاط مئوية على اختبار قياسي. يشغّل الوكيل الكود بالإعدادات المذكورة ويحصل على تحسن قدره نصف نقطة. بعد ذلك تتعدد الاحتمالات: المعامل الفائق في النص لا يطابق ما في الكود، أو تسربت بيانات الاختبار إلى التدريب، أو أن النموذج الأساسي المستخدم للمقارنة ضُبط بصورة أسوأ من نموذج المؤلفين. الإنسان دون تشغيل الكود لن يلاحظ ذلك. أما الوكيل فلا يتعب ويستطيع تشغيل مئات الفحوص بالتوازي.

هذه أسباب نموذجية للتباين، وليست قائمة بما اكتشفه الهاكاثون: فأنواع الأخطاء المحددة في البيانات المصدرية لم يُكشف عنها.

ماذا يفعل المطورون ومديرو المنتجات

لا تعتبروا جدول الورقة ضمانًا. إذا كنتم تبنون منتجًا على «أحدث ما توصلت إليه التقنية» من ورقة جديدة، فأرقامها تظل فرضية. خصصوا وقتًا لإعادة الإنتاج بأنفسكم، وتحققوا أولًا مما إذا كان أحد قد حاول ذلك قبلكم.

طبّقوا الأسلوب نفسه داخل الشركة. وكيل يأخذ تقرير تجربة داخليًا أو تقييمًا لنموذج ويحاول تكراره من الصفر اعتمادًا على الوصف هو وسيلة رخيصة لإيجاد الفجوة بين المكتوب وما شُغّل فعلًا. وبالنسبة إلى الفرق التي تنشر اختبارات قياسية ومقارنات، فهذه تكاد تكون مرحلة ضمان جودة جاهزة.

راقبوا السوق. بالنسبة إلى المؤسسين، يسلّط الهاكاثون الضوء على مجال واعد: أدوات التحقق من قابلية إعادة الإنتاج، ومدققات المنهجية، وتدقيق الأبحاث للمستثمرين ولأقسام البحث والتطوير في الشركات.

القيود

الوكيل الذي لم يتمكن من إعادة إنتاج النتيجة لم يثبت بعد خطأ المؤلفين. فقد يكون السبب نقص الموارد الحاسوبية، أو بيانات مغلقة، أو وصفًا غير مكتمل للطريقة، أو خطأ من الوكيل نفسه. ولذلك يجب أن يؤكد إنسان النتائج. والصيغة الواقعية هي أن يجمع الوكيل المرشحين للأخطاء ويصدر الخبير الحكم.

وهناك مخاطرة معاكسة. فسيل الإنذارات الكاذبة سيغرق المؤلفين بادعاءات سيضطرون إلى فحصها يدويًا، وستتراجع الثقة في الفحوص الآلية بسرعة.

المراجعون لم يختفوا، لكن صار لهم رفيق يشغّل الكود فعلًا. لم تعد قابلية إعادة الإنتاج ترفًا، بل أصبحت إجراءً يمكن أتمتته، أشبه بالتكامل المستمر (CI) للعلم. وعلى الفرق التي تعتمد على الأبحاث الحديثة أن تعتاد ذلك قبل مؤلفي الأوراق.