الوكلاء متعددو الوسائط يفقدون ما يصل إلى 53% من معدل النجاح عند تجميع الوحدات في نظام واحد

إن امتلاك مصنف شبه خال من الأخطاء لا يجعل الوكيل موثوقا بعد. ولعل هذا هو الاستنتاج العملي الأهم من مجموعة حديثة من الأبحاث حول النماذج متعددة الوسائط والروبوتات. ففي إحدى الدراسات، تعرفت وحدة منفردة على نوع الطلب المطلوب بدقة 99,84%، لكن النظام بعد تجميعه لم يلتزم بجميع المتطلبات إلا في 47,08% من السيناريوهات المعقدة.

هذه المشكلة مألوفة لكل من بنى منتجا من عدة مكونات للذكاء الاصطناعي. نجحت عملية التعرف، وعثر البحث على المستند، واختار النموذج الأداة — ومع ذلك حصل المستخدم على نتيجة خاطئة. ولا ينشأ الخطأ بالضرورة داخل وحدة بعينها، بل قد يظهر عند نقاط الربط: يسيء الوكيل فهم القصد، أو يستدعي أداة غير مناسبة، أو يتجاوز خطوة تحقق، أو ينفذ الخطوات الصحيحة بترتيب خاطئ.

دقة المكونات لا تعني موثوقية النظام

يقدم SkinAgent AI مثالا جيدا. فهو مساعد للعناية بالبشرة يحلل صورة، ويستوضح الطلب، ويختار المنتجات. وقد قيده مطوروه عمدا بتوصيات غير طبية: فلا يجوز للنظام تقديم تشخيص، وعليه مراعاة قواعد السلامة.

بدت المكونات المنفردة مقنعة. فقد حقق مصنف الطلبات حسب الموضوع دقة بلغت 99,84%. لكن ضمن مجموعة داخلية تضم 240 مهمة معقدة، حدد الوكيل قصد المستخدم بصورة صحيحة في 80% من الحالات، واختار المجموعة الدقيقة من الأدوات في 62,92%، ولم يكمل السيناريو بأكمله دون مخالفة المتطلبات إلا في 47,08% من الحالات.

تخيلوا خدمة دعم يحدد فيها الموظف موضوع الطلب بصورة صحيحة في كل مرة تقريبا، لكنه يفتح بعد ذلك النموذج الخطأ في نصف الحالات، أو ينسى التحقق من البيانات، أو يغلق التذكرة قبل أوانها. عندئذ لا تقدم الدقة العالية في الخطوة الأولى كثيرا من الطمأنينة.

الاستنتاج بالنسبة إلى فريق المنتج بسيط: لا ينبغي قياس جودة التعرف أو البحث أو التوليد وحدها. المطلوب مقياس شامل من البداية إلى النهاية — أي نسبة المهام التي أنجزت بصورة صحيحة وآمنة ومن دون تخطي أي خطوة. وينبغي أن تشمل الاختبارات أيضا الطلبات الملتبسة، وتعطل الأدوات، والبيانات التي لم تظهر في عروض المطورين.

المقاييس الداخلية قد تكون مضللة أيضا

اختبرت دراسة أخرى فكرة شائعة: إذا كانت التمثيلات الداخلية للنص والصورة متشابهة، فهذا يعني أن النموذج يستخدم الصورة فعلا. استبدل الباحثون الصورة بضوضاء عشوائية. انخفضت جودة الإجابات بشدة، لكن بعض مؤشرات «المواءمة» واصلت إظهار تشابه مرتفع.

بعبارة أخرى، ظل الجهاز يعرض قراءة طبيعية حتى بعد اختفاء الإشارة المفيدة. وهذا تحذير للمطورين: الرسوم البيانية الجميلة المستخرجة من الطبقات المخفية لا يمكن اعتبارها دليلا على أن النموذج يفهم الصورة. يجب فحص هذه المؤشرات إلى جانب النتيجة في مهمة حقيقية. ومن الاختبارات الدنيا المفيدة إزالة الصورة، أو استبدالها بضوضاء، أو تقديم صورة مناقضة، ثم مراقبة ما إذا كانت الإجابة تتغير بالطريقة المتوقعة.

المحاكي ميدان اختبار، لا اختبار قبول

في أبحاث الروبوتات، كان وكلاء البرمجة يكتبون بأنفسهم برامج لتخطيط الحركة، وحققوا في عدد من البيئات معدلات تنفيذ ناجح تراوحت بين 56–95%، مقابل 47% لمخطط تقليدي. وهذه إشارة مهمة: يستطيع الوكيل إجراء التجارب، واستيضاح قواعد البيئة، ونقل البرنامج الذي توصل إليه إلى ترتيبات جديدة للأجسام.

لكن الاختبارات أجريت في الغالب ضمن محاكاة كان الوكيل يعرف فيها الحالة الدقيقة للأجسام. أما الكاميرا الحقيقية فتخطئ في تقدير العمق، وتحجب بعض الأجسام، وتغير تقدير الإحداثيات عند اختلاف الإضاءة. لذلك لا يمكن نقل النتيجة مباشرة إلى مستودع أو خط إنتاج.

ويلزم القدر نفسه من الحذر عند تقييم التحقق الصوتي من الحقائق. فقد حقق أحد الأنظمة دقة بلغت 86,1%، لكنه اختبر على كلام مولد اصطناعيا بصوت واحد ومن دون ضوضاء خلفية حقيقية. وبالنسبة إلى البودكاست والمقابلات والبث المباشر، لا يزال هذا نموذجا أوليا، لا ضمان جودة جاهزا للاستخدام.

الخلاصة العملية واحدة: ابنوا التقييم حول رحلة المستخدم الكاملة. اختبروا الروابط بين الوحدات، وأفسدوا بيانات الإدخال عمدا، وميزوا نتائج المحاكاة بصورة منفصلة. ففي هذه المساحة تحديدا، بين العرض المبهر والمنتج العامل، يضيع اليوم جزء كبير من موثوقية أنظمة الذكاء الاصطناعي.