بحسب الدعوى: تلميذة تحدثت مع Gemini عن الانتحار ثلاثة أشهر، وأنظمة المراقبة التزمت الصمت أسابيع

القصة التي نشرتها Wired ليست عن «إجابة سيئة من شبكة عصبية». إنها عن كيف يمكن لعدة طبقات حماية، تبدو كل منها معقولة بمفردها، أن تشكّل معًا ثغرة. وبالنسبة لكل من يطلق منتجات ذكاء اصطناعي للمراهقين أو يدمج روبوتات الدردشة في خدمات أخرى، فهذه دراسة تطبيقية وليست مجرد دراما.

تنبيه مهم: كل ما يرد أدناه هو ادعاءات واردة في دعوى رفعها الأهل. وقالت Google إنها تدرس المطالبات، ولم تثبت المحكمة شيئًا حتى الآن.

ما حدث بحسب رواية المدعي

كانت إيما، البالغة 13 عامًا (تظهر في الدعوى باسم Emma Doe)، تدرس في مدرسة في ولاية نورث كارولاينا وتستخدم جهاز Chromebook المدرسي. وقد حظرت المدرسة موقع Gemini المستقل، وعلى هذا المستوى كان الضبط يعمل. لكن بحسب الدعوى، فإن بحث Google العادي هو ما وجّه الفتاة إلى روبوت الدردشة: فوضع AI Mode يتيح طرح أسئلة توضيحية، وبدء أي محادثة فعليًا من شريط البحث مباشرة.

منذ ديسمبر بدأت تسأل عن اكتئاب حاد و«أسباب للعيش»، وبحلول نهاية يناير صارت أسئلتها عن الانتحار. ثم ظهرت في Google Docs وثيقة ظلت تكتبها أكثر من أربعة أسابيع، وفي الوقت نفسه توجهت إلى الذكاء الاصطناعي آلاف المرات. ويرى محامي الأسرة أن النظام لم يوقف المحادثة فحسب، بل «دفعها» أيضًا. وهذا موقف المدعين، لا حقيقة ثابتة.

لم تعلم المدرسة بالأزمة إلا بفضل برنامج خارجي لمراقبة الطلاب. ووفق المحامي، ربما كان GoGuardian أو Gaggle، لكن الأسرة لا تعرف ذلك على وجه التحديد. وذهب التنبيه إلى الهاتف الشخصي لمستشار مدرسي سابق ترك عمله قبل تسعة أشهر. وقد مرّره إلى الموظفين الحاليين، فتواصلوا مع الأم. وتدخل الأهل في الوقت المناسب.

أين انكسر النظام تحديدًا

هنا ثلاث مشكلات مألوفة لأي مهندس.

محيط حماية لا يأخذ في الحسبان المداخل الجديدة. حظر المسؤولون Gemini كمنتج مستقل، لكن الوظيفة نفسها وصلت داخل البحث. وهذا خطأ كلاسيكي: الضبط مرتبط بعنوان الخدمة لا بالقدرة. وحين يُدمج الذكاء الاصطناعي في منتجات مسموح بها أصلًا، لا تعود قوائم الحظر تضمن شيئًا. وتشترط Google حاليًا على المدارس تفعيل الميزات التوليدية إذا أرادت استخدام البحث. وطالب السيناتور إد ماركي في رسالة بمنح المدارس إمكانية تعطيل AI Mode وAI Overviews.

مراقبة غامضة التغطية. تعترض هذه الأدوات ضغطات المفاتيح أو تفحص الملفات، ثم ترشّحها بالخوارزميات والبشر. وكتبت GoGuardian في مدونتها في يوليو 2025 أنها تراقب محادثات الذكاء الاصطناعي بما فيها Gemini، لكنها لم تذكر AI Mode. ولذلك لا يُعرف هل رأى البرنامج هذه المحادثات أصلًا. والمدارس التي تشتري هذه المنتجات نادرًا ما تتحقق مما تلتقطه فعلًا.

تنبيه بلا إنسان. حتى النظام الذي عمل اصطدم بثغرة تنظيمية: وصل الإشعار إلى شخص لم يعد على ملاك المدرسة. وهذه ليست مسألة جودة النموذج، بل مسألة لوائح ومسؤولين وتصعيد.

وينبغي تذكّر قاعدة الأدلة أيضًا. ففي استطلاع أجراه EdWeek Research Center عام 2022، رأى 96% من المعلمين بين مستخدمي Gaggle أنه يساعد على حماية الطلاب من الانتحار وإيذاء النفس. لكن الدراسة كانت برعاية Gaggle نفسها، وتبقى الفاعلية الحقيقية لهذه الأنظمة غير واضحة. وينتقدها الناشطون الحقوقيون بسبب انتهاك الخصوصية وتقويض الثقة بين الأطفال والمعلمين.

ما العمل

• لمديري المنتجات والمطورين. إذا كان في منتجكم دردشة بالذكاء الاصطناعي، فافترضوا أن المراهق سيصل إليها بأي طريق. افحصوا لا الواجهة الرئيسية فحسب، بل كل نقاط الدخول المدمجة، بما فيها البحث والأغلفة. واختبروا بشكل منفصل سيناريوهات المستخدمين الضعفاء: كيف يتفاعل المنتج مع حديث عن إيذاء النفس في الشهر الثالث، لا في الرسالة الأولى فقط.
• للفرق التي تبيع البرمجيات للمدارس. انشروا بالتحديد أي واجهات ذكاء اصطناعي تغطونها. عبارة «نحن نراقب روبوتات الدردشة» بلا قائمة قليلة القيمة.
• للمدارس والمسؤولين. تحققوا من سلسلة التنبيهات: من يتلقى التنبيه، وكيف تُحدَّث جهات الاتصال عند ترك الموظفين العمل، وماذا يحدث في الساعات الأولى بعده.

ويشير خبير RAND بنجامين بودرو إلى أن بعض المدارس اعتمدت هذه الأدوات من دون التفكير في حدودها وإجراءات الاستجابة. وخلاصته أن الأزمة تُحل عبر التواصل الإنساني، وأن التقنية لا تفعل سوى المساعدة في ملاحظة المشكلة.

القضية بدأت للتو مسارها في المحكمة، وما زال كثير من الوقائع بحاجة إلى تحقق. لكن الدرس التقني واضح بالفعل: لا يمكن بناء سلامة الأطفال من مرشحات متفرقة حين يصبح الذكاء الاصطناعي طبقة داخل كل شيء آخر.

إذا كنت أنت أو أحد أحبائك بحاجة إلى دعم، فتواصل مع خط الأزمات المحلي. وفي الولايات المتحدة الرقم هو 988.