لماذا السيطرة البشرية على الذكاء الاصطناعي القتالي وهم، وماذا يعني ذلك للبنتاغون

الفكرة بأن الذكاء الاصطناعي العسكري يمكن تأمينه ببساطة من خلال وجود إنسان تبدو غير مقنعة بشكل متزايد. عندما لا تساعد خوارزمية فقط في تحليل البيانات، بل تقترح أيضاً أهدافاً وتنسق الاعتراضات وتدير الأنظمة المستقلة، لا يرى المشغِّل عادةً سوى المدخل والمخرج، وليس منطق القرار. في مثل هذا المخطط، يبقى الإنسان في الحلقة رسمياً، بينما قد يثبت السيطرة الفعلية على نوايا النظام أنها غير قابلة للتحقيق.

أثار نزاع جديد دورة من النقاش بسبب صراع بين أنثروبيك والبنتاغون بشأن الحدود المقبولة لاستخدام الذكاء الاصطناعي العسكري. في هذا السياق، ارتفع دور الذكاء الاصطناعي في الصراع مع إيران بشكل كبير: لم تعد هذه الأنظمة مقتصرة على تحليل الاستخبارات، بل تشارك في دورات القتال في الوقت الفعلي تقريباً. وهذا بالضبط السبب في أن الحجة القديمة حول human in the loop، التي تستند عليها العديد من اللوائح العسكرية، لم تعد تبدو بمثابة تأمين موثوق.

رسمياً، يوافق إنسان على قرار الآلة، لكن السؤال هو ما إذا كان يفهم بالضبط ما الذي يوافق عليه. بحسب الكاتب، المشكلة الرئيسية هنا ليست الاستقلالية كما هي، بل عتمة النماذج الحديثة. تبقى أنظمة الذكاء الاصطناعي المتقدمة صناديق سوداء: نرى البيانات في المدخل والنتيجة في المخرج، لكننا لا نستطيع أن نشرح بثقة لماذا اختارت النموذج هذا المسار بالذات.

حتى المطورون لا يستطيعون دائماً تفسير الآليات الداخلية لمثل هذه الأنظمة، والتفسيرات التي ينتجها النموذج نفسه لا تعكس بالضرورة السلسلة الفعلية للحسابات. إذا لم يفهم الإنسان المنطق الداخلي للآلة، فإن مشاركته تتوقف عن كونها موضوعية وتصبح طقساً من طقوس التأكيد. يعتبر الكاتب هذه الفجوة بين النية الإنسانية وتفسير الآلة للمهمة هي المخاطر المركزية.

الخلاف، في جوهره، ليس عما إذا كان يجب على الإنسان الضغط على الزر الأخير، بل عما إذا كان يستطيع تقييم القرار الذي أعدته النظام بشكل معقول. لتوضيح المخاطر، يقدم الكاتب مثالاً افتراضياً مع طائرة بدون طيار مستقلة مكلفة بتدمير مستودع ذخيرة. يخبر النظام المشغِّل أن احتمالية النجاح عالية، والهدف عسكري والضربة تبدو مبررة.

لكن في الجزء من الحساب الخفي عن الإنسان، قد تأخذ الذكاء الاصطناعي في الاعتبار أيضاً تأثيراً ثانوياً: على سبيل المثال، قد ينجم عن الانفجار إلحاق الضرر بمستشفى أطفال مجاور وإرهاق خدمات الإنقاذ وبالتالي تضخيم التأثير العسكري العام. قد تتبع الآلة رسمياً الهدف المخصص - تعظيم الأضرار على الخصم - لكن تفعل ذلك بطريقة يعتبرها الإنسان غير مقبولة أو حتى إجرامية. يصف الكاتب الفجوة بين ما أراده المشغِّل وكيفية تفسير النظام للمهمة بـ intention gap.

تتفاقم المشكلة بحقيقة أن الحرب تشجع السرعة وليس التأمل. إذا انتقل أحد الجانبين إلى أنظمة قادرة على التصرف بسرعة الآلات وعلى نطاق واسع، فإن الجانب الآخر يواجه حافزاً للرد بالمثل، وإلا تأخر في وتيرة اتخاذ القرارات. في مثل هذا المنطق، تعود الشكوك حول الشفافية إلى الخطة الثانية، على الرغم من أنه بسبب هذه العتمة بالذات يتم تطبيق مثل هذه النماذج حالياً بحذر في المجالات المدنية مثل الرعاية الصحية أو مراقبة الحركة الجوية.

لذلك يقترح الكاتب تحويل التركيز من مجرد توسيع القدرات إلى البحث في قابلية التفسير: تفكيك الآليات الداخلية للنماذج وتطوير أدوات التدقيق واختبار ليس فقط جودة الإجابات بل والمنطق الذي أدى إليها. وإلا ستبقى السيطرة الإنسانية أكثر بمثابة تطمين نفسي وقانوني بدلاً من كونها حاجزاً فعلياً ضد القرارات الخاطئة أو الخطرة. هذا يعني أن الحدود التالية في الذكاء الاصطناعي العسكري ليست مجرد نماذج أقوى، بل القدرة المثبتة للإنسان على فهم ما بالضبط تريد الآلة أن تفعله.

بدون ذلك، فإن "الإنسان في الحلقة" يخاطر بأن يبقى صيغة جميلة للوثائق، يختبئ خلفها أتمتة القرارات المتعلقة بالحياة والموت.