الخلل في البنية لا في النموذج: تحليل لثلاث حوادث بارزة للذكاء الاصطناعي (Deloitte وكاميرات الذكاء الاصطناعي والوكيل البرمجي)

حلّل مهندس يصمّم أنظمة إنتاجية قائمة على النماذج اللغوية الكبيرة (LLM) ثلاث حوادث بارزة للذكاء الاصطناعي، وخلص إلى أن اللوم في الحالات الثلاث لا يقع على النموذج نفسه، بل على غياب البنية المحيطة به. وقد نُشر التحليل على Habr.

ما الذي يجمع الحوادث الثلاث؟

لا يجمع بين الحوادث الثلاث نوع الخطأ، بل مصدره: فالشيفرة المحيطة بالنماذج اللغوية كتبها أشخاص يجيدون صياغة الأوامر النصية (prompts) لكنهم لا يجيدون تصميم البنية. وظهرت الثغرات في ثلاثة مواضع مختلفة تماماً من النظام.

• أعادت Deloitte Australia إلى الحكومة الأموال التي تقاضتها مقابل تقرير اختلق فيه الذكاء الاصطناعي مصادره — فلم يتحقق أحد من الروابط
• في مينيسوتا تتبّعت شبكة كاميرات ذكاء اصطناعي صحفياً لعدة أيام على أنه سارق سيارات، وحاصرته أربع سيارات شرطة في موقف للسيارات
• سبب الحادثة في مينيسوتا خطأ مطبعي في البيانات ارتُكب على بعد ألفي ميل من الصحفي
• شيفرة ولّدها نموذج ألغت ليلاً اشتراكات جميع عملاء منتج SaaS مستقل، ولم يتبقَّ للشركة سوى 38 دولاراً من إيراداتها الشهرية
• التشخيص العام للمؤلف: فشل في البنية، لا في النموذج اللغوي

ثلاث ثغرات مختلفة في البنية

ظهرت الثغرات على ثلاثة مستويات مختلفة من النظام. ففي حالة Deloitte Australia لم تُراجَع المصادر: ولّد النموذج روابط تبدو معقولة لكنها غير موجودة، وسُلّم التقرير إلى الجهة الطالبة — وهي الحكومة — دون التحقق من الوقائع. والنتيجة إعادة علنية لأموال الميزانية.

وفي حادثة مينيسوتا فشل الفصل بين حدود البيانات. فقد أبقت شبكة كاميرات الذكاء الاصطناعي لقراءة لوحات السيارات الصحفيَّ في خانة سارق السيارات لعدة أيام بسبب خطأ مطبعي واحد وقع على بعد ألفي ميل منه. ولم يضع أحد آلية للتحقق ولا وسيلة للطعن في الإنذار الكاذب، ولذلك وصلت إلى الرجل في موقف السيارات أربع سيارات شرطة دفعة واحدة.

أما الحالة الثالثة فتتعلق بصلاحيات الوكيل المستقل (autonomous agent). فقد منح مطوّر مستقل شيفرة ولّدها نموذج صلاحيات أوسع مما ينبغي، فألغت ليلاً اشتراكات جميع العملاء. وفي الصباح اكتشف المؤسس أن 38 دولاراً فقط بقيت من إيراداته الشهرية. ولم تُفرض على الوكيل المستقل أي قيود على الإجراءات التدميرية.

لماذا لا يتحمل النموذج المسؤولية هنا؟

لم ينهَر النموذج اللغوي نفسه في أي من الحالات الثلاث، بل انهار ما يحيط به. وبحسب تحليل المؤلف، المشكلة منهجية: فقد تعلّم المهندسون كيف ينتزعون من النموذج الإجابة المطلوبة، لكنهم لا يبنون حوله عمليات التحقق وحدود البيانات وقيود الصلاحيات.

«الأنظمة المحيطة بالنماذج اللغوية الكبيرة بناها أشخاص يجيدون كتابة الأوامر النصية، لكنهم لا يجيدون تصميم البنية»، كما جاء في تحليل المهندس على

Habr.

والثغرات الثلاث — التحقق من المصادر، والتحكم في البيانات الداخلة، وصلاحيات الوكيل — هي مسائل تصميم هندسي كلاسيكية، وليست مسائل ضبط دقيق للنموذج.

ماذا يعني ذلك؟

النموذج اللغوي داخل المنتج ليس «ميزة ذكية»، بل مكوّن يتطلب حوله الضمانات الهندسية نفسها المعتمدة في أي نظام حرج: فحص المخرجات، والتحكم في المدخلات، وتقييد الصلاحيات. وبدونها لن يخطئ النموذج، بل سيخطئ المنتج، وقد تكون الكلفة ملموسة جداً: من إعادة أموال الميزانية إلى 38 دولاراً في الحساب.

أسئلة شائعة

من المسؤول عن هذه الحوادث؟

بحسب استنتاج مؤلف التحليل، ليس النموذج اللغوي، بل البنية المحيطة به. فالأنظمة الثلاثة بناها أشخاص يجيدون كتابة الأوامر النصية لكنهم لا يصمّمون عمليات التحقق ولا حدود البيانات ولا صلاحيات الوكلاء المستقلين.

كم خسر مؤسس منتج SaaS؟

ألغت شيفرة ولّدها نموذج اشتراكات جميع العملاء ليلاً، ولم يتبقَّ من الإيرادات الشهرية للشركة سوى 38 دولاراً. والسبب أن الوكيل المستقل لم تُقيَّد إجراءاته التدميرية.

ماذا حدث مع Deloitte Australia؟

أعادت Deloitte Australia إلى الحكومة الأموال التي تقاضتها مقابل تقرير اختلق فيه الذكاء الاصطناعي مصادره. ولم يتحقق أحد من الروابط التي ولّدها النموذج قبل تسليم العمل إلى الجهة الطالبة.