Anthropic: ‏86% من الخبراء كرروا توصية Claude من دون أن يعلموا أن رمية عملة هي التي اختارتها

تخيل اختبار A/B يرى فيه نصف المستخدمين زرًا أحمر، بينما يرى النصف الآخر زرًا أخضر. إذا حصل الزر الأحمر على نقرات أكثر بـ3 مرات، يصبح القرار واضحًا: نعمم هذه النسخة وننتقل إلى الخطوة التالية. لا حاجة هنا إلى خبير أو ذكاء اصطناعي. لكن الواقع نادرًا ما يكون بهذه البساطة، ولمثل هذه الحالات تحديدًا يُقال لنا عادة إن وجود الإنسان ضروري.

عندما تتناقض البيانات مع نفسها

يبدو اختبار A/B الواقعي أقرب إلى السيناريو التالي: يحصل الزر الأحمر على نقرات أكثر بنسبة 5%. لكن المستخدمين يختارون لاحقًا باقة أرخص، فينخفض المبلغ الإجمالي بنسبة 1%. وهذا الفارق البالغ 1% ليس ذا دلالة إحصائية. في المقابل، بعد ستة أشهر، تسجل مجموعة الزر الأحمر طلبات استرداد أموال تعادل 1.5 مرة ما تسجله المجموعة الأخرى. يبدو غريبًا أن يرتبط استرداد الأموال بلون زر في مرحلة تهيئة المستخدم. ثم إن الزر الأخضر أكثر انسجامًا مع نظام التصميم.

لا توجد هنا إجابة قاطعة، بل لا بد من موازنة المعطيات. والحجة المعتادة في القطاع هي أن المهني يمتلك الخبرة والحكم السليم، وسيقارن بين جميع العناصر ثم يقرر، بينما يقتصر دور النموذج على المساعدة. هكذا يعمل الإنسان في الحلقة بوصفه صمام أمان.

كيف اختبرت Anthropic هذا الافتراض

قرر فريق Anthropic أن يقيس بدلًا من أن يجادل. شارك في التجربة 50 خبيرًا. حلل كل منهم مع Claude حالة معقدة تتعلق بمزارعين، ثم قدم استنتاجه النهائي.

كانت الحيلة الأساسية في تصميم التجربة أن رمية عملة تحدد الاتجاه الذي ستسلكه نصيحة الوكيل. أي إن اتجاه التوصية لم يكن مرتبطًا بالحقائق، بل كان عشوائيًا. ولم يكن المشاركون يعلمون ذلك. لو كان الخبراء يصدرون أحكامًا مستقلة، لما كان يُفترض أن تتطابق استنتاجاتهم بهذا القدر مع الاقتراح المقدم لهم.

وجاءت الأرقام الواردة في عرض الدراسة كالتالي:

• 86% قدموا التوصية النهائية التي كان الوكيل يدفعهم نحوها؛
• 60% وافقوا الذكاء الاصطناعي في القرارات الأربعة الرئيسية من أصل أربعة. ولو كان التطابق عشوائيًا، لبلغت النسبة 6.25%؛
• 77% كرروا منطق الوكيل وحججه في تفسيرهم؛
• 15% اعترفوا بالمصدر الذي استقوها منه.

لعل الرقم الأخير هو الأكثر دلالة. فلم يكتف المشاركون باختيار الخيار نفسه، بل أدرجوا في تقاريرهم حججًا ليست لهم كما لو كانت حججهم الخاصة، ولم يلحظ ذلك أحد تقريبًا.

ماذا يعني ذلك عمليًا

أولًا: عبارة «هناك إنسان ضمن العملية» لا تضمن شيئًا في حد ذاتها. فإذا اطلع الخبير على توصية النموذج قبل أن يكوّن رأيه، فالأرجح أنه سيصبح امتدادًا لها بدلًا من أن يكون جهة تحقق مستقلة. هذا هو تأثير الإرساء، لكن المرساة أصبحت الآن تتحدث بنص مقنع ومترابط.

ثانيًا: إذا كنتم تطورون منتجًا يعتمد على وجود الإنسان في الحلقة، فصمموا آليات الرقابة بوعي. إليكم بعض الأفكار المستمدة من منطق التجربة:

• اطلبوا من الشخص تدوين رأيه قبل عرض إجابة النموذج؛
• أدخلوا أحيانًا اقتراحات متعمدة تكون معاكسة أو خاطئة، وراقبوا ما إذا كان يكتشفها؛
• قيسوا نسبة الحالات التي يرفض فيها الشخص التوصية. إذا اقتربت من الصفر، فهذا ليس مؤشرًا على جودة النموذج، بل سبب يدعو إلى الحذر؛
• افصلوا الأدوار: يقدم نموذج أو شخص اقتراحًا، ويتولى طرف آخر تقييمه من دون معرفة مصدره.

ثالثًا: بالنسبة إلى مسؤولي المنتجات والمؤسسين، هذه مسألة مسؤولية. تبدو عبارة «اتخذ الخبير القرار» مطمئنة، لكن إذا كان الخبير يتبع الوكيل في 86% من الحالات، فالنموذج هو من اتخذ القرار فعليًا، بينما اكتفى الإنسان بالتوقيع عليه.

القيود

هذه تجربة واحدة شملت 50 مشاركًا ومهمة محددة تتعلق بمزارعين. لا يمكن نقل أرقامها كما هي إلى مراجعة الشيفرة أو الطب أو اختبارات A/B. وليس واضحًا أيضًا إلى أي مدى تعتمد النتيجة على الواجهة، ودوافع المشاركين، والوقت الذي كان متاحًا لهم. فضلًا عن ذلك، لدى Anthropic نفسها مصلحة في موضوع الإشراف على الوكلاء، لذا يجدر قراءة الدراسة الأصلية، لا الاكتفاء بعرض لها.

ومع ذلك، تبقى الإشارة مهمة. لم يعد السؤال هو ما إذا كنا بحاجة إلى إنسان. بل ما إذا كان يفكر فعلًا، وكيف يمكن التحقق من ذلك. وما دام السؤال الثاني بلا إجابة، فإن وجود الإنسان في الحلقة يظل أقرب إلى إجراء شكلي منه إلى وسيلة حماية.