Claude يتفوق على الخبراء في المراجعة النقدية: المحررون اختاروا الذكاء الاصطناعي في 87% من التقييمات

أعددتَ تقريرًا عن تجربة ما، لكنك قبل إرساله إلى الإدارة تريد أن تسمع الأسئلة المحرجة: أين يسبق الاستنتاج البيانات، وأي تفسير أُغفل، وما الذي يستحق إعادة التحقق. اختبر باحثون في هارفارد مهمة مشابهة على مخطوطات علمية. وتمنح النتيجة سببًا لتجربة Claude في أول مراجعة نقدية للوثائق داخل الفريق. مثلًا، يمكن أن تطلب من النموذج البحث عن تفسيرات أخرى لارتفاع التحويل قبل إعلان الواجهة الجديدة فائزة.

ما الذي قارنته هارفارد

استخدم غاري كينغ وستيفن ورثينغتون 124 مخطوطة و134 مراجعة من خبراء عبر خدمة rapidPeer. وهي مراجعة تمهيدية قبل إرسال المقال إلى مجلة. كان الخبراء يتقاضون أجرًا؛ وقيّم 88% من 74 مؤلفًا شملهم الاستطلاع الملاحظات التي تلقوها تقييمًا عاليًا. وأعدّ Claude Opus 4.8 مراجعات بديلة للمخطوطات والتعليمات: مع البحث على الويب ومن دون أدوات خارجية.

قيّم ثلاثة محررين سابقين في مجلات، دون معرفة المصدر، عشرة أزواج متطابقة من المراجعات. اختاروا Claude في 26 تقييمًا من 30، أي نحو 87%. ولم يتحقق المحررون من المخطوطات نفسها. أما حَكَم منفصل هو GPT-5.5 فقد فضّل الذكاء الاصطناعي في جميع الأزواج البالغ عددها 132 التي كان لها فائز محدد في نسخة البحث؛ ومن دون البحث بقي التفوق قائمًا أيضًا. ولم يقس المؤلفون تحسن المقالات بعد الملاحظات. نُشر العمل بوصفه ورقة بحثية أولية على موقع هارفارد.

بالنسبة للقارئ، المقام هنا بالغ الأهمية: فالتقييمات الثلاثون للمحررين تتعلق بعشرة أزواج نظر فيها ثلاثة أشخاص. لذلك سيكون من الجرأة المفرطة تحويل النتيجة إلى وعد بأن «الذكاء الاصطناعي أفضل من أي خبير في 87% من المهام». إنها نتيجة مقارنة محددة بين مراجعات.

كيف نطبق الفكرة على تقرير منتج

لنتخيل مثالًا افتراضيًا. غيّر فريق شاشة التسجيل وكتب: «ارتفع التحويل 12%، سنطلقها للجميع». يرسل مدير المنتج إلى النموذج وصف التجربة وجدول النتائج ومعايير اتخاذ القرار، ويطلب إحصاء مواطن ضعف الاستنتاج وتحديد المقاطع الداعمة في الوثيقة واقتراح فحوص.

ينبغي أن تطرح الإجابة المفيدة أسئلة محددة. هل وُزّع المستخدمون عشوائيًا؟ هل رُصدت المجموعتان للمدة نفسها؟ هل نسبة 12% نسبية أم نقاط مئوية؟ هل جاء إلى النسخة الجديدة مستخدمون أكثر من قناة إعلانية أخرى؟ هذا مثال على التحليل المرغوب، وليس حلقة من تجربة هارفارد.

بعد ذلك يتحقق المحلل من الملاحظات. فإذا كان التوزيع عشوائيًا ومدوّنًا صراحة في الملحق، فإن اعتراض النموذج خطأ. وإذا كان تركيب الزيارات مختلفًا فعلًا، فلدى الفريق سبب لمراجعة الاستنتاج قبل الإطلاق. ويمكن قياس قيمة هذا المساعد بعدد المشكلات المكتشفة والوقت المستغرق في التحقق منها.

يمكن للمطوّر إجراء تجربة مماثلة على مقترح معماري: يرفق المتطلبات والقيود والمخطط، ويطلب البحث عن سيناريوهات الإخفاق. ويمكن للمؤسس فحص مذكرة عن اقتصاديات المنتج بحثًا عن افتراضات خفية. وكل نقل من هذا النوع يتطلب تقييمه الخاص: فمقارنة هارفارد وحدها لا تقول شيئًا عن جودة تحليل بنيتك المعمارية أو نموذجك المالي.

ما الذي يجب التحقق منه قبل الاعتماد

من المناسب البدء بعدد من المشاريع المنتهية التي تُعرف فيها المشكلات التي فاتت. جهّز الوثائق بالشكل الذي رآه الفريق قبل اتخاذ القرار، واحصل على تحليل النموذج. واطلب من الزملاء تقييم الملاحظات دون ذكر المؤلف. واحسب على حدة الاكتشافات المؤكدة والاعتراضات الخاطئة وتكاليف التحقق. فالمراجعة الجميلة الصياغة تنال بسهولة تقديرًا عاليًا؛ أما الخطأ المكتشف فيمنح معيارًا أكثر موضوعية.

وللعمل الجاري، يفيد شكل بسيط للإجابة: المشكلة، موضعها في الوثيقة، العواقب المحتملة، طريقة التحقق. فهو يتيح الانتقال سريعًا من القراءة إلى الفعل. وإذا كتب النموذج «المنهجية غير مقنعة بما يكفي»، فاطلب منه تسمية الافتراض المحدد وشرح أي نتيجة ستجبر على تغيير الاستنتاج.

تستحق نتيجة هارفارد الاهتمام تحديدًا بوصفها سببًا لإجراء تجربة كهذه لديك. فالمراجعة الأولى المتاحة قد تساعد الفريق على ملاحظة موطن الضعف مبكرًا. وينبغي اتخاذ قرار الاعتماد بعد الاختبار على وثائقك الخاصة: كم ملاحظة مفيدة حصلت عليها، وكم من الوقت أنفقته في التعامل مع الباقي.