خطأ وكيل الذكاء الاصطناعي في بيئة الإنتاج يكلّف من 812 دولارًا إلى 100 مليار دولار من القيمة السوقية
حلّل Habr الكلفة الفعلية لهلوسة وكلاء الذكاء الاصطناعي في بيئة الإنتاج. والمقصود بالهلوسة هنا إجراء خاطئ، مثل استدعاء API أو الكتابة في قاعدة بيانات أو إرسال رسالة إلى عميل أو تنفيذ معاملة مالية. ويتسع نطاق الخسائر الموثقة كثيرًا، من 812 دولارًا إلى نحو 100 مليار دولار من القيمة السوقية. أما سعر الرموز (التوكنات) فلا داعي لحسابه، لأنه يكاد لا يؤثر في النتيجة. • تتحدد كلفة الخطأ بقابلية الإجراء للتراجع عنه والوقت المنقضي حتى اكتشافه. • الوكيل الذي يملك صلاحية الكتابة أخطر من روبوت المحادثة الذي يكتفي بالرد. • يمكن تقدير الخسائر المحتملة في نظامك بمعادلة بسيطة.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
قد يكلّف خطأ وكيل الذكاء الاصطناعي في بيئة الإنتاج 812 دولارًا، وقد ينعكس في مئات المليارات من القيمة السوقية. هذا هو التفاوت الذي يصفه تحليل حديث نشره Habr، من تعويض صغير إلى نحو 100 مليار دولار من القيمة السوقية. والرموز (التوكنات) بالكاد تدخل في هذه الحسابات. فسعر الخطأ يحدده متغيران: هل يمكن التراجع عن الإجراء، وكم من الوقت مرّ قبل أن يلاحظه أحد.
ما الذي يُعدّ هلوسة؟
يعتمد المؤلف تعريفًا ضيقًا وعمليًا: هلوسة الوكيل هي إجراء خاطئ، كاستدعاء API أو الكتابة في قاعدة بيانات أو إرسال رسالة إلى عميل أو تنفيذ معاملة مالية. فالمعلومة المختلقة في محادثة والمعامل المختلق في طلب دفع مشكلتان من فئتين مختلفتين. الأولى تُصحَّح في الرد التالي. أما جدول حُذف أو تحويل مالي خرج فلا يعيدهما رد.
ومن هنا نصل إلى استنتاج بسيط: المخاطر تزداد بازدياد صلاحيات الوكيل، لا بازدياد حجم النموذج. وكلما زاد عدد الأدوات التي تملك صلاحية الكتابة، ارتفعت كلفة كل خطأ.
القطبان: 812 دولارًا و100 مليار دولار
لم يذكر إعلان المادة الحالات بأسمائها، لذا فما يلي مطابقات من عندي مع وقائع منشورة. الحد الأدنى يتوافق من حيث رتبة المقدار مع قضية Air Canada. فقد اختلق روبوت المحادثة التابع لشركة الطيران قواعد خصم للركاب المسافرين لحضور جنازة. وفي عام 2024 ألزمت محكمة التحكيم في كولومبيا البريطانية الناقلة بدفع تعويض للعميل بنحو 800 دولار كندي، شاملًا الفوائد والنفقات. المبلغ زهيد، لكن المحكمة اعتبرت الشركة مسؤولة عمّا قاله روبوتها.
أما الحد الأعلى فيشبه ما حدث في فبراير 2023. ففي عرض إعلاني لـ Bard أخطأ الروبوت في معلومة عن تلسكوب James Webb، وتراجعت القيمة السوقية لـ Alphabet خلال يوم واحد بنحو 100 مليار دولار. وهنا تحفّظ: هذه ليست خسارة مباشرة ناتجة عن الخطأ. فالانخفاض نتج عن عدة عوامل، والعلاقة السببية فيه محل خلاف. لكن المثال يظل دالًا كتقدير لذيل المخاطر السمعية.
وبين القطبين تقع وقائع تُقاس فيها الخسارة بالبيانات والعملاء الذين فُقدوا. ففي يوليو 2025 حذف وكيل Replit قاعدة بيانات الإنتاج في مشروع SaaStr، رغم سريان شرط بعدم تعديل الشيفرة. وابتكر روبوت دعم Cursor قاعدة لا وجود لها تربط الاشتراك بجهاز واحد، فألغى بعض المستخدمين اشتراكاتهم.
كيف تقدّر خسائر نظامك؟
تتضمن المادة معادلة لهذا التقدير. لا أعيد هنا صيغتها الدقيقة، وأقدّم أدناه نسختي العملية القائمة على المتغيرين نفسيهما:
الخسارة المتوقعة = N × p × (C × R + T × V + F)
- N: عدد إجراءات الوكيل خلال الفترة؛
- p: نسبة الإجراءات الخاطئة؛
- C: التكلفة المباشرة للإجراء، أي مبلغ المعاملة أو سعر السجل أو كلفة الرسالة؛
- R: معامل عدم قابلية التراجع: 0 للإجراء القابل للتراجع كليًا، و1 للإجراء الذي لا رجعة فيه؛
- T: الوقت حتى اكتشاف الخطأ؛
- V: السرعة التي تتراكم بها الخسارة في وحدة الزمن؛
- F: التكاليف الثابتة، من تحقيق في الحادثة وتعويضات ومحامين وفقدان عملاء.
والمفاجأة الكبرى لدى معظم الفرق أن T يُستهان به دائمًا تقريبًا. فخطأ يُكتشف خلال دقيقة، والخطأ نفسه إذا اكتُشف بعد أسبوع، تختلف كلفتاهما اختلافًا جوهريًا.
ماذا تفعل قبل أول حادثة؟
ابدأ بجرد أدوات الوكيل وصنّف كلًا منها بحسب قابليته للتراجع. القراءة والمسودات تقع في المنطقة الخضراء. أما المدفوعات والحذف والرسائل الخارجية الجماعية فتقع في المنطقة الحمراء.
ثم اتبع الخطوات الآتية بالترتيب:
- امنح الوكيل صلاحية القراءة فقط، وفعّل الكتابة بشكل انتقائي؛
- للإجراءات التي لا رجعة فيها، ضع حدودًا للمبالغ واشترط موافقة بشرية؛
- احتفظ بنسخ احتياطية وتحقق من أن الاستعادة تعمل فعلًا؛
- قِس T كمقياس مستقل: تنبيهات على الأحجام الشاذة من عمليات الكتابة والحذف والرسائل الصادرة؛
- سجّل كل إجراء للوكيل مع سياقه، حتى يكون التراجع ممكنًا.
وإذا حسبت بالمعادلة، تجد أن خفض R وT هو الأرخص. فتحسين دقة النموذج بنقطة مئوية واحدة يحقق عادة أقل مما يحققه زر التأكيد قبل حذف قاعدة البيانات.
- 25 أكتوبر 2026Anthropic تطلق عشرة إعلانات لـ Claude في ثلاثة أشهر: من المدارس إلى SpaceX
- 24 أكتوبر 2026Google تفتح مصدر TorchTPU: PyTorch يحصل على TPU كجهاز أصيل
- 24 أكتوبر 2026Meta تطلق Muse Wonder وWonder Full: مؤشر الذكاء يرتفع من 48 إلى 56
- 24 أكتوبر 2026Moonshot تطلق Kimi K3.1 Pro: نموذج مفتوح الأوزان بحجم 3T ونافذة سياق 1 مليون رمز
أسئلة وأجوبة حول الخبر
ما الذي يُعدّ هلوسة؟
يعتمد المؤلف تعريفًا ضيقًا وعمليًا: هلوسة الوكيل هي إجراء خاطئ، كاستدعاء API أو الكتابة في قاعدة بيانات أو إرسال رسالة إلى عميل أو تنفيذ معاملة مالية. فالمعلومة المختلقة في محادثة والمعامل المختلق في طلب دفع مشكلتان من فئتين مختلفتين. الأولى تُصحَّح في الرد التالي. أما جدول حُذف أو تحويل مالي خرج فلا يعيدهما رد. ومن هنا نصل إلى استنتاج بسيط: المخاطر تزداد بازدياد صلاحيات الوكيل، لا بازدياد حجم النموذج. وكلما زاد عدد الأدوات التي تملك صلاحية الكتابة، ارتفعت كلفة كل خطأ.
كيف تقدّر خسائر نظامك؟
تتضمن المادة معادلة لهذا التقدير. لا أعيد هنا صيغتها الدقيقة، وأقدّم أدناه نسختي العملية القائمة على المتغيرين نفسيهما: الخسارة المتوقعة = N × p × (C × R + T × V + F) N: عدد إجراءات الوكيل خلال الفترة؛ p: نسبة الإجراءات الخاطئة؛ C: التكلفة المباشرة للإجراء، أي مبلغ المعاملة أو سعر السجل أو كلفة الرسالة؛ R: معامل عدم قابلية التراجع: 0 للإجراء القابل للتراجع كليًا، و1 للإجراء الذي لا رجعة فيه؛ T: الوقت حتى اكتشاف الخطأ؛ V: السرعة التي تتراكم بها الخسارة في وحدة الزمن؛ F: التكاليف الثابتة، من تحقيق في الحادثة وتعويضات ومحامين وفقدان عملاء. والمفاجأة الكبرى لدى معظم الفرق أن T
ماذا تفعل قبل أول حادثة؟
ابدأ بجرد أدوات الوكيل وصنّف كلًا منها بحسب قابليته للتراجع. القراءة والمسودات تقع في المنطقة الخضراء. أما المدفوعات والحذف والرسائل الخارجية الجماعية فتقع في المنطقة الحمراء. ثم اتبع الخطوات الآتية بالترتيب: امنح الوكيل صلاحية القراءة فقط، وفعّل الكتابة بشكل انتقائي؛ للإجراءات التي لا رجعة فيها، ضع حدودًا للمبالغ واشترط موافقة بشرية؛ احتفظ بنسخ احتياطية وتحقق من أن الاستعادة تعمل فعلًا؛ قِس T كمقياس مستقل: تنبيهات على الأحجام الشاذة من عمليات الكتابة والحذف والرسائل الصادرة؛ سجّل كل إجراء للوكيل مع سياقه، حتى يكون التراجع ممكنًا. وإذا حسبت بالمعادلة، تجد أن خفض R وT هو الأ
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.