مساعد الذكاء الاصطناعي رفع درجات طلاب المدارس بنسبة 48٪، وبدونه جاءت نتائجهم أسوأ بنسبة 17٪

تخيّل مطوّرًا مبتدئًا يقبل اقتراحات Copilot واحدًا تلو الآخر. تُغلق المهام بسرعة، وترتفع المؤشرات، لكنه في مراجعة الشيفرة لا يستطيع أن يشرح لماذا بُني الحل على هذا النحو. يوضح تحليل حديث على موقع Habr لماذا ليس ذلك محض صدفة، وما الذي ينبغي فعله لمن يبنون منتجات تعتمد على الذكاء الاصطناعي.

تجربة تفسد المؤشرات الجميلة

يُظهر تحليل تلوي لـ 69 دراسة نُشرت بين عامي 2022 و2024 أن ChatGPT يحسّن التحصيل الدراسي والدافعية ويقلّل الجهد الذهني. وبالنسبة لفريق المنتج يبدو هذا نتيجة مثالية. لكن في تجربة ميدانية شملت ما يقارب ألف طالب في المرحلة الثانوية كانوا يحلّون مسائل في الرياضيات، رفع GPT-4 بواجهته المعتادة الدرجات في أثناء التدريب بنسبة 48٪، وبنسبة 127٪ في النسخة المزوّدة بتلميحات وقائية. وبعد قطع الوصول، جاءت نتائج طلاب المجموعة الأولى أسوأ بنسبة 17٪ من نتائج من لم يستخدموا الذكاء الاصطناعي أصلًا. لقد عمل المساعد كعكّاز: ما دام موجودًا ترتفع النتيجة، لكن التعلّم لم يحدث.

لماذا الذكاء الاصطناعي ليس مرادفًا للواجهة الجيدة

تميّز نظرية الحمل المعرفي بين ثلاثة أنواع من الجهد: الداخلي (صعوبة المادة نفسها)، والخارجي (الناتج عن سوء العرض)، والوثيق الصلة (العمل على بناء المعرفة). وفي تجربة المستخدم تتمثل الرافعة الرئيسة في خفض الحمل الخارجي، وهذا يكاد يكفي: فمستخدم نظام CRM يريد أن يُرسَل الطلب، لا أن يفهم دليل المسمّيات.

مع الذكاء الاصطناعي الأمر مختلف. ففي تجربة شملت 91 طالبًا، أفاد من عملوا مع ChatGPT-3.5 بحمل أقل على المقاييس الثلاثة كلها، وجاءت مبرراتهم النهائية أضعف من مبررات مستخدمي Google. وتؤكد سلسلة من سبع تجارب شملت 10,462 مشاركًا أن المعرفة المستخلصة من ملخص نموذج لغوي كبير أكثر سطحية من تلك المستمدة من روابط محرك البحث. فمحرك البحث يقدّم المصادر، وعلى الشخص أن يربط بينها بنفسه. أما النموذج اللغوي فيقدّم خلاصة جاهزة، أي أن العمل على التعقيد الداخلي أُنجز قبل أن يرى الشخص النتيجة. الواجهة الجيدة تزيل الضوضاء المحيطة بالمهمة، أما الذكاء الاصطناعي فقد يزيل المهمة ذاتها.

وهناك تفصيل مزعج أيضًا. فدراسة شملت 589 طالبًا ومتخصصًا شابًا تميّز بين التفريغ الاعتمادي (تسليم التفكير للذكاء الاصطناعي) والتفريغ المستقل (الذكاء الاصطناعي كسند، والقرارات بيد الإنسان). والفائدة الفورية متماثلة في الوضعين، لذلك لا يميّز المستخدم بينهما بإحساسه، ولن تُظهر مؤشرات الرضا شيئًا. تنبيه: هذه الدراسات ارتباطية، والنتائج في بعضها قائمة على التقييم الذاتي.

ما الذي ينبغي على مدير المنتج والمطوّر فعله

يجب دمج آليات الحفاظ على المهارة في المنتج نفسه، لا الاعتماد على وعي المستخدم:

• مساعد بيئة التطوير يطلب من المطوّر المبتدئ أولًا أن يخمّن موضع الخطأ، ثم يعرض التصحيح مع الشرح.
• مساعد البحث لا يقدّم ملخصًا، بل مصادر مع أوجه التباين بينها، ويطلب من المستخدم صياغة الاستنتاج بنفسه.
• مساعد الدعم يعطي رابطًا إلى قسم في قاعدة المعرفة ويتحقق من إجابة الموظف.
• روبوت التعليم يقود الطالب بالأسئلة بدلًا من أن يحلّ عنه.

يجب ألا يكون الدعم دائمًا. فتأثير عكس الخبرة يشير إلى أن الأساليب التي تساعد المبتدئ تعيق الخبير، لذلك ينبغي أن تتناقص المساعدة مع نمو المهارة: سند، ثم تحقق، ثم عمل مستقل.

الحد الأدنى العملي

أوكلوا إلى الذكاء الاصطناعي البحث والتنسيق والأعمال الروتينية. واتركوا للإنسان الربط والاستنتاج والتقييم. وأضيفوا الشرح والتحقق قبل قبول الإجابة. والأهم: غيّروا المؤشرات، فالحمل العام والرضا لا يميّزان بين التفريغ النافع والضار. تحقّقوا دوريًا مما يستطيع الشخص فعله دون الأداة. وإن كان عليه أن يبقى في الحلقة ويتحمل مسؤولية النتيجة، فهذا هو الاختبار الصادق الوحيد.