انتقادات لشركات الذكاء الاصطناعي لغياب الفحص النفسي الأولي في روبوتات الدردشة التي قد تكون خطرة

تختزل رسالة إلى هيئة التحرير، جاءت بعد سلسلة من القصص عن أشخاص اهتزت حياتهم بسبب محادثات مع روبوتات الذكاء الاصطناعي، المشكلة في فكرة بسيطة: لم تعد القيود المدمجة في النموذج وحدها كافية. فإذا كانت روبوتات الدردشة تقع بشكل متزايد في سيناريوهات نفسية حساسة، فيجب أن تتوافر لدى الخدمات آلية أساسية للتحقق من السلامة قبل أن تبلغ المحادثة مرحلة متقدمة أكثر من اللازم.

لماذا لا تكفي المرشحات؟

لا يعترض كاتب الرسالة على فكرة إعدادات الحماية في النماذج في حد ذاتها، بل على حدودها. فحتى الروبوت المدرَّب جيدًا قد يدعم بنية هذيانية إذا جاءه المستخدم في حالة هشة وتلقى من النظام ردًا سريعًا وواثقًا ومخصصًا له. وفي هذا السياق يبدو الجدل القديم حول «هلوسات» الذكاء الاصطناعي ضيقًا أكثر مما ينبغي: فالأمر لا يتعلق بمعلومات خاطئة فحسب، بل بأن المحاور الرقمي قادر على ترسيخ صورة خطرة للعالم.

وكان السبب المباشر تحقيقًا سابقًا عن مستخدمين فقدوا، بعد محادثات طويلة مع الذكاء الاصطناعي، علاقاتهم وأموالهم وصلتهم بالواقع. وتصف الرسالة ذلك بأنه فجوة لا يمكن سدّها بمجرد ضبط النموذج في مرحلة التدريب. والمنطق بسيط: إذا كان المنتج قادرًا على استدراج الإنسان إلى حوار مشحون عاطفيًا، فعليه أن يأخذ في الحسبان حالة المحاور لا جودة الإجابات فقط. وإلا انتقلت المسؤولية إلى المستخدم في اللحظة التي يكون فيها الأقل قدرة على حماية نفسه.

ما الذي ينقص؟

يقارن الكاتب ذلك بالطب، لا بالعيادات الخاصة الثرية، بل بأبسط منظومات الرعاية. فحتى في المناطق الفقيرة وغير المستقرة، يستخدم الأطباء والعاملون الصحيون مقاييس قصيرة لتقييم الحالة، هي PHQ-9 للاكتئاب وColumbia Suicide Severity Rating Scale لخطر الانتحار. وتستغرق هذه الاستبيانات دقائق معدودة، وقد تُرجمت إلى عشرات اللغات، وتعمل كحاجز بسيط بين هشاشة الإنسان والضرر المحتمل.

«تستغرق هذه الأدوات دقائق، وتضع فحصًا بشريًا بين الهشاشة والضرر».

• فحص قصير قبل السماح بالوصول إلى سيناريوهات المحادثة «العلاجية»
• توقف تلقائي إذا وصف المستخدم هذيانًا أو إيذاءً للنفس أو أفكارًا انتحارية
• إحالة المستخدم إلى شخص مختص أو خدمة أزمات بدلًا من مواصلة الحوار
• قيود أكثر صرامة على دور «المستشار» عندما يرصد النظام علامات حالة غير منتظمة

الفكرة الأساسية هنا ليست أن يتحول كل روبوت دردشة إلى جهاز طبي. المقصود إجراء أكثر تواضعًا: الإقرار بأن جزءًا من المستخدمين يلجأ إلى الذكاء الاصطناعي لا للحصول على معلومة أو لسماع نكتة، بل في لحظة اضطراب نفسي. وفي مثل هذه الحالات، من الواضح أن عبارة «قد يخطئ الذكاء الاصطناعي» لا تكفي. المطلوب آلية مدمجة ترصد الخطر المرتفع على الأقل، ولا تتظاهر بأنها محاور صبور بلا حدود لكنه بلا مسؤولية.

كيف يمكن تطبيق ذلك؟

عمليًا، يعني هذا نقل جزء من المسؤولية من الوثائق القانونية إلى المنتج نفسه. ويمكن أن يكون الفحص قصيرًا، ولا يُفعَّل للجميع، ولا يعمل إلا في السيناريوهات الحساسة: مثلًا عندما يطلب المستخدم تفسير «علامات» ما، أو يبحث عن تأكيد لهوس الاضطهاد، أو يناقش إيذاء النفس، أو يحاول اتخاذ قرارات حياتية كبرى استنادًا إلى نصائح الروبوت. وهذا النهج أقرب إلى الفرز الطبي منه إلى الرقابة: يقيّم النظام الخطر أولًا، ثم يقرر كيف يواصل الحديث.

بالنسبة لشركات الذكاء الاصطناعي، هذه خطوة تالية غير مريحة لكنها منطقية. فالفحص يتطلب قرارات على مستوى المنتج، ومقاييس أمان جديدة، وربما مشاركة بشرية في حلقة المساعدة. لكنه يعكس سلوك المستخدمين الفعلي أفضل من الرهان على أن تتعامل الحواجز العامة (guardrails) وحدها مع جميع الحالات. وما دامت الخدمة قد تعلمت كيف تحتفظ بالانتباه وتكيّف نبرتها وترافق الإنسان لساعات، فعليها أن تتعلم أيضًا التوقف في الوقت المناسب.

ماذا يعني ذلك؟

تنقل قضية الهذيان المرتبط بالذكاء الاصطناعي النقاش من «الأخلاقيات» المجردة إلى سؤال محدد عن سلامة المنتج. وما دام الفحص النفسي الأولي، حتى في أدنى صوره، قد أصبح منذ زمن معيارًا في الطب، فسيتزايد الضغط على شركات الذكاء الاصطناعي: فلم يعد المنتظر منها إجابات ذكية فحسب، بل قدرة أساسية على عدم تفاقم أزمة الآخرين.