معادلة بسيطة تتنبأ بالوقت الذي تخرج فيه روبوتات الدردشة عن السيطرة

تعمل النماذج اللغوية الصغيرة اليوم على الأجهزة التي نحملها في جيوبنا، ولا يكاد أي منها يخضع لرقابة خارجية. لا توجد مرشحات على الخوادم، ولا إشراف، ولا سجلات. وبحسب TechXplore، اقترح باحثون معادلة رياضية بسيطة تتنبأ باللحظة التي يبدأ فيها روبوت الدردشة بتقديم إجابات خطيرة. أما المعاملات المحددة للمعادلة، وقائمة النماذج التي جرى اختبارها، ودقة التنبؤ، فلا ترد في الوصف المتاح، ولذلك ينبغي تقييم فكرة المسألة نفسها لا الأرقام.

لماذا أصبحت النماذج المحلية نقطة عمياء؟

تحظى المساعدات السحابية بعدة طبقات من الحماية. يُعاد تدريب النموذج على السلوك الآمن، ويُضاف موجّه نظام (system prompt)، وتوضع مصنِّفات على المدخلات والمخرجات، بينما يراقب فريق الأمان حالات إساءة الاستخدام ويسدّ الثغرات بالتحديثات. أما النموذج المحلي على الهاتف، فلا يبقى له من ذلك كله سوى ما هو مدمج في الأوزان. وإذا كان الجهاز في وضع عدم الاتصال، فلن تُحدَّث القواعد ولن تُرسَل بيانات القياس عن بُعد.

يحدد المصدر ثلاث فئات من المخاطر: إجابات قد تدفع نحو إيذاء النفس، أو تتسبب بخسائر مالية، أو تروّج لآراء متطرفة. وترتبط الفئات الثلاث بأن النموذج الصغير «ينهار» بسهولة أكبر في حوار طويل أو أمام طلب غير معتاد، دون أن يكون هناك من يلاحظ ذلك.

ما المعروف عن المعادلة؟

بحسب الوصف، يقوم النهج على علاقة رياضية مدمجة. فهو ليس نموذجًا رقابيًا منفصلًا ولا مصنِّفًا ثقيلًا.

• الهدف: روبوتات دردشة صغيرة تعمل على أجهزة المستخدمين.
• المهمة: تحديد مسبق للوقت الذي يصبح فيه سلوك النموذج خطيرًا.
• شكل الحل: معادلة بسيطة، لا شبكة عصبية ثانية تؤدي دور المراقب.
• المخاطر المستهدفة: إيذاء النفس، والضرر المالي، والأفكار المتطرفة.
• غير مكشوف: المتغيرات المُدخلة، ومجموعة النماذج المختبَرة، والدقة، ونسبة الإنذارات الكاذبة.

والنقطة الأخيرة تحسم كل شيء. فالتنبؤ الذي يُفعَّل كثيرًا لا فائدة منه، إذ سيرفض المساعد الإجابة عن أسئلة بريئة. وإذا كان يُفعَّل نادرًا، ينشأ شعور زائف بالأمان.

لماذا تهم البساطة هنا؟

على الهاتف الذكي، يُحسب كل ميغابايت من الذاكرة وكل ميلي جول من الطاقة. فالمصنِّف الثاني الذي يعمل بجانب النموذج الأساسي يستهلك الميزانية الحاسوبية التي اضطُر المطورون بسببها إلى تصغير النموذج أصلًا. أما المعادلة التي يمكن حسابها في أجزاء من الثانية اعتمادًا على إشارات متوفرة أصلًا، فهي نظريًا مناسبة كصمام أمان مدمج، لأنها لا تتطلب شبكة ولا خوادم.

وللنهج حدّ واضح. فالمستخدم هو من يملك النموذج المحلي. وإذا كانت الأوزان مفتوحة، يمكن حذف أي شيفرة حماية، ما يعني أن المعادلة تحمي من الأعطال العرضية، لكنها لا تحمي من شخص يريد عمدًا الحصول على إجابة خطيرة.

ماذا يفعل المطورون وفرق المنتجات؟

بالنسبة لمن يدمجون النماذج المحلية في التطبيقات، الخلاصة عملية. لا يصح اعتبار الأمان مهمة تخص السحابة وحدها. فإذا كان مساعدك يعمل في وضع عدم الاتصال، فيجب نقل الفحص إلى الجهاز وإدراجه في ميزانية الذاكرة والطاقة منذ البداية.

إلى حين صدور المنشور الكامل، يستحسن أن يطلب المطورون من المؤلفين ثلاثة أمور: على أي نماذج وفي أي سيناريوهات اختُبرت المعادلة، وما عتبة التفعيل المقترحة، وكيف تتصرف في الحوارات الطويلة. وما دامت هذه البيانات غير متوفرة، فمن المعقول اعتبار المعادلة مكمّلًا لإعادة التدريب على السلوك الآمن لا بديلًا عنه. أما للمستخدمين العاديين فالنصيحة أبسط: لا ينبغي توقع الحذر من روبوت دردشة محلي بلا رقابة في مسائل الصحة والمال والسياسة، وهو حذر توفره الخدمات السحابية.