ناديلا يدعو إلى «فرامل طوارئ» لنماذج الذكاء الاصطناعي الوكيلة

قال ساتيا ناديلا، الرئيس التنفيذي لشركة Microsoft، إن على الشركات أن تتعامل مع نماذج الذكاء الاصطناعي القوية بوصفها تهديدات داخلية محتملة. وبحسب قوله، ينبغي الانطلاق من أن النموذج قد يتعرض للاختراق، وبناء نظام «فرامل طوارئ» مسبقًا تحسبًا لخروج نموذج وكيل عن السيطرة. ونقلت ذلك Bloomberg. لا تتضمن المادة أرقامًا ولا جداول زمنية ولا وصفًا لمنتجات محددة: فهي إطار تفكير، وليست إعلانًا عن إصدار.

ماذا قال ناديلا بالضبط

يتضمن التقرير ثلاث أطروحات تشكّل معًا منطقًا متماسكًا.

الأولى: النموذج القوي الذي يملك حق الوصول إلى أنظمة الشركة أقرب من حيث مستوى المخاطر إلى الموظف منه إلى البرنامج. فله صلاحيات، ويتخذ قرارات، وثمن الخطأ أو النية الخبيثة باهظ.

الثانية: يُبنى الأمن على افتراض الاختراق. وهذه قاعدة مألوفة في أمن المعلومات، مفادها «افترض أن المحيط الدفاعي اخترق بالفعل»، لكنها تُطبَّق الآن على النماذج نفسها.

الثالثة: الوكلاء، أي الأنظمة التي تنفّذ سلاسل من الإجراءات بشكل مستقل، يحتاجون إلى آلية إيقاف قسري. فالوكيل الذي يكتب الشيفرة بنفسه، ويرسل الطلبات، وينفق الميزانيات، يجب أن يكون له مفتاح إيقاف لا يعتمد على «موافقته» هو.

لماذا المُطّلع الداخلي لا المخترق الخارجي

هذا تفسيرنا، وليس اقتباسًا من التصريح. يعمل الوكيل ببيانات الاعتماد والبريد الإلكتروني ومستودعات الشيفرة والموارد السحابية، ويتصرف بسرعة الآلة. وإذا جرى دفعه إلى أفعال ضارة عبر تعليمات مدسوسة في مستند (prompt injection) أو عبر إضافة مخترقة، فسينفّذها بوسائل مشروعة وباسم حساب موثوق. وغالبًا لا تميّز أدوات حماية المحيط التقليدية هذا السلوك عن العمل العادي.

لذلك يشبه الرد الهندسي برامج الحماية من المطّلعين الداخليين: الحد الأدنى من الصلاحيات، وتسجيل الأحداث، ورصد الشذوذ، وسحب الوصول بسرعة. وكلمة «فرامل» تعني هنا هذا تحديدًا، لا زرًّا في الواجهة.

ما الذي يتطلبه مثل هذه الآلية عمليًا (تحليلنا):

• هوية مستقلة لكل وكيل، مع إمكانية سحب جميع رموز الوصول الخاصة به بأمر واحد؛
• حد أدنى من الصلاحيات ووصول مؤقت بدل المفاتيح الدائمة؛
• سجل إجراءات غير قابل للتعديل يصلح للتحقيق؛
• حدود صارمة: على مبلغ العمليات، وحجم البيانات المُصدَّرة، وعدد الاستدعاءات في الدقيقة؛
• بيئة تنفيذ معزولة لا يستطيع الوكيل منها توسيع صلاحياته؛
• تأكيد بشري إلزامي للعمليات التي لا يمكن التراجع عنها.

موقف البائع

من المهم مراعاة السياق. فـ Microsoft نفسها تبيع حلولًا وكيلة عبر Copilot وAzure، ومن مصلحتها ألا يخشى عملاؤها من المؤسسات منح الوكلاء حق الوصول إلى بيانات العمل. والحديث عن «فرامل الطوارئ» يخدم هذا الهدف: إذ يُقدَّم الأمن بوصفه شرطًا للتوسع، لا حجة ضده. هذا لا يجعل الطرح خاطئًا، لكنه يفسّر نبرته.

الأسئلة المفتوحة أكثر من الإجابات. من يضغط على الفرامل: المشغّل أم مزوّد النموذج أم آلية تلقائية؟ ماذا نفعل بوكيل أُوقف في منتصف معاملة؟ وكيف نتحقق من أن الفرامل ستعمل إذا كان النموذج نفسه أو بيئته مخترقًا؟ لا يقدّم تقرير Bloomberg إجابة عن أي منها.

ماذا يمكن للفرق أن تفعله الآن

لا حاجة إلى انتظار منتج جاهز. إذا كانت الشركة تشغّل وكلاء بالفعل أو تستعد لإطلاقهم، فمن المنطقي إجراء جرد: ما صلاحيات كل وكيل، ومن المسؤول عنه، وما مدى سرعة سحب هذه الصلاحيات. تحققوا من أن السحب يعمل فعلًا، أي أجروا تمارين تدريبية. قسّموا إجراءات الوكيل إلى ما يمكن التراجع عنه وما لا يمكن، وضعوا إنسانًا عند النوع الثاني. أدرجوا في عقودكم مع الموردين متطلبات تتعلق بتسجيل الأحداث وإيقاف الوكلاء. ولا تمنحوا الوكيل صلاحيات لم تكونوا لتمنحوها لموظف جديد في يوم عمله الأول.