Виновата не модель, а архитектура: разбор 3 громких ИИ-инцидентов (Deloitte, ИИ-камеры, агент)

مهندس يصمم أنظمة إنتاجية قائمة على نماذج اللغة الكبيرة (LLM) حلّل ثلاثة حوادث ذكاء اصطناعي مدوّية وخلص إلى استنتاج: في الحالات الثلاث جميعها، المُذنب ليس النموذج نفسه، بل البنية المعمارية الغائبة من حوله. نُشر التحليل على Habr.

ما يجمع بين الحوادث الثلاثة

ما يجمع بين الحوادث الثلاثة ليس نوع الخطأ، بل مصدره: الكود المحيط بـ LLM كتبه أشخاص يجيدون صياغة الأوامر (prompts) لكنهم لا يجيدون تصميم البنية المعمارية. ومع ذلك، ظهرت الثغرات في ثلاثة أماكن مختلفة تمامًا من النظام.

• ردّت Deloitte Australia أموالًا للحكومة عن تقرير اختلق فيه الذكاء الاصطناعي مصادر — لم يتحقق أحد من الروابط
• في مينيسوتا، تعاملت شبكة كاميرات ذكاء اصطناعي مع صحفي بصفته سارق سيارة لعدة أيام، وحاصرته أربع سيارات شرطة في موقف للسيارات
• سبب حادثة مينيسوتا خطأ إملائي في البيانات، ارتُكب على بُعد ألفي ميل من الصحفي
• كود ولّده النموذج ألغى ليلًا جميع اشتراكات عملاء شركة SaaS مستقلة، ولم يتبقَّ للشركة سوى 38 دولارًا من الإيرادات الشهرية
• التشخيص العام لكاتب التحليل: إخفاق في البنية المعمارية، وليس في نموذج اللغة

ثلاث ثغرات مختلفة في البنية المعمارية

ظهرت الثغرات على ثلاثة مستويات مختلفة من النظام. في Deloitte Australia لم يُتحقق من المصادر: ولّد النموذج روابط تبدو معقولة لكنها غير موجودة، ووصل التقرير إلى العميل — الحكومة — من دون التحقق من الوقائع. والنتيجة كانت ردًّا علنيًا لأموال الميزانية.

في قصة مينيسوتا، فشل الحد الفاصل للبيانات. أبقت شبكة كاميرات الذكاء الاصطناعي للتعرف على لوحات السيارات صحفيًا لعدة أيام في وضعية "سارق سيارة" بسبب خطأ إملائي واحد أُدخل على بُعد ألفي ميل منه. لم يضع أحد آلية للتحقق أو وسيلة للاعتراض على إنذار كاذب — لهذا وصلت دفعة واحدة أربع سيارات شرطة إلى الرجل في موقف السيارات.

الحالة الثالثة تتعلق بصلاحيات عميل مستقل (autonomous agent). منح مطوّر مستقل الكود المولَّد بواسطة النموذج صلاحيات مفرطة: فألغى ليلًا اشتراكات جميع العملاء. وفي الصباح اكتشف المؤسس أنه لم يتبقَّ من الإيرادات الشهرية سوى 38 دولارًا. لم تُفرض على العميل المستقل أي قيود على الإجراءات المدمِّرة.

لماذا لا علاقة للنموذج بالأمر هنا

في أي من الحالات الثلاث لم يتعطّل نموذج اللغة الكبير (LLM) نفسه — بل تعطّل ما يحيط به. وبحسب تحليل الكاتب، فإن المشكلة بنيوية: تعلّم المهندسون كيفية الحصول على الإجابة المطلوبة من النموذج، لكنهم لا يبنون حوله آليات تحقق وحدود بيانات وقيودًا على الصلاحيات.

«الأنظمة المحيطة بـ LLM بناها أشخاص يجيدون كتابة الأوامر (prompts) لكنهم لا يجيدون تصميم البنية المعمارية»، هذا ما جاء في تحليل المهندس على

Habr.

الثغرات الثلاث جميعها — التحقق من المصادر، ضبط بيانات الإدخال، صلاحيات العميل — مهام تصميم هندسي كلاسيكية، وليست مسألة ضبط دقيق للنموذج.

ما الذي يعنيه هذا

نموذج اللغة الكبير (LLM) داخل المنتج ليس "ميزة ذكية"، بل مكوّن يحتاج إلى نفس الضمانات الهندسية التي يحتاجها أي نظام حرج: التحقق من المخرجات، ضبط المدخلات، تقييد الصلاحيات. من دونها لا يخطئ النموذج — بل يخطئ المنتج، والثمن يكون ملموسًا تمامًا: من ردّ أموال الميزانية إلى 38 دولارًا في الحساب.

الأسئلة الشائعة

من المسؤول عن حوادث الذكاء الاصطناعي هذه؟

بحسب استنتاج كاتب التحليل، المسؤول ليس نموذج اللغة، بل البنية المعمارية المحيطة به. بنى الأنظمة الثلاثة أشخاص يجيدون كتابة الأوامر (prompts) لكنهم لا يصممون آليات تحقق ولا حدود بيانات ولا صلاحيات للعملاء المستقلين.

كم خسر مؤسس شركة SaaS؟

ألغى الكود المولَّد بواسطة النموذج ليلًا اشتراكات جميع العملاء، ولم يتبقَّ من الإيرادات الشهرية للشركة سوى 38 دولارًا. والسبب أن الإجراءات المدمِّرة للعميل المستقل لم تُقيَّد.

ماذا حدث مع Deloitte Australia؟

ردّت Deloitte Australia أموالًا للحكومة عن تقرير اختلق فيه الذكاء الاصطناعي مصادر. لم يتحقق أحد من الروابط التي ولّدها النموذج قبل تسليم العمل إلى العميل.